Excelente pregunta, que ha suscitado reflexiones basadas en las ideas de las revisiones independientes de 12 programas de investigación del CGIAR, recientemente finalizadas. Los programas de investigación (CRP) son programas globales de investigación para el desarrollo que abarcan temas que van desde programas de un solo cultivo, como el RICE, hasta programas transversales integrados, como el de Cambio Climático, Agricultura y Seguridad Alimentaria (CCAFS).
¿Qué relación guarda su propio trabajo con el tema de esta discusión?
Tras un anuncio anterior, la función de evaluación de los Servicios de Asesoramiento del CGIAR ha completado recientemente unas revisiones rápidas e independientes que han abarcado la calidad de la ciencia, así como la eficacia de los resultados obtenidos, centrándose en el progreso a lo largo de la TdC y la utilidad de la misma.
¿Puede proporcionar un ejemplo real de diseño de un proyecto adaptado a un entorno local?
Las pruebas no tienen por qué desvincularse de los riesgos y las hipótesis, ya que juntas ofrecen una visión global de las realidades sobre el terreno, independientemente del tamaño y el tipo de intervención/programa/iniciativa. Para poner las cosas en perspectiva, la TdC de los CRP tiene varios niveles. En primer lugar, todos los CRP tienen una TdC que contribuye a la estrategia general y al marco de resultados del CGIAR. En cascada, los CRP tienen a su vez diferentes programas insignia, cada uno de los cuales contribuye a través de vías de impacto específicas anidadas dentro de la TdC general. Los TdC de los programas insignia se diseñaron y desarrollaron en colaboración con los equipos de los proyectos, lo que refleja un enfoque ascendente, proceso muy apreciado en general en las revisiones.
En las revisiones de los CRP se observó que, aunque la mayoría de los CRP incorporaron datos procedentes de evaluaciones independientes anteriores y evaluaciones de impacto desde la conceptualización y durante la ejecución, la TdC tenía distintos niveles de uso y evolución. En general, para algunos de los CRP, las revisiones encontraron valor en el proceso -en cultivar el pensamiento de la TdC incluso entre los científicos- pero evidencia limitada en su uso como herramienta de medición, vinculándola al marco de resultados.
¿Cómo sería una teoría del cambio dinámica y basada en evidencias para ese proyecto?
Dada la naturaleza global del CGIAR y de la mayoría de los CRP, ha sido clave la base en el contexto. Las TdC son muy específicas del contexto/programa. Enmarcado en el contexto, uno de los CRP (Bosques, Árboles y Agroforestería-FTA) tenía un uso de la TdC considerablemente evolucionado. Tenía objetivos anuales adaptados e indicadores adaptados a las realidades del campo. Algunos CRP no introdujeron ningún cambio en su TdC (WHEAT). Una de las conclusiones de su revisión (WHEAT) fue que su TdC era buena para "(1) establecer prioridades, (2) evaluar la contribución de los resultados científicos, (3) buscar y justificar la financiación, (4) trazar la trayectoria hasta el impacto y (5) presentar informes", pero inadecuada para evaluar la eficacia del CRP o del buque insignia. ¿Por qué? El informe de revisión dice "porque ese no era su propósito". La intencionalidad es importante a la hora de desarrollar la TdC, para no limitar su uso en la generación de pruebas, el aprendizaje, la presentación de informes y la reprogramación, los equipos de desarrollo e iteración de la TdC tienen que ser intencionales a la hora de codiseñarla como una herramienta de pruebas iterativa, vinculando los indicadores, relacionando los impulsores y los riesgos, probando los supuestos y las vías causales.
¿Qué oportunidades y obstáculos ve?
La gestión adaptativa no es necesariamente ordenada, ya que las revisiones de la TdC basadas en las pruebas, los supuestos y los riesgos podrían hacer que el proceso, así como la agregación y la notificación de los resultados, fueran engorrosos. Sin embargo, esto puede gestionarse si los informes se estructuran de forma coherente sobre la base de los indicadores y objetivos vinculados a la TdC (actualizada/revisada). El conjunto de métricas debe reflejar el diseño, la aplicación y la ampliación de las innovaciones científicas sobre el terreno y ser flexible, útil y coherente para permitir el seguimiento de los progresos de forma que se obtenga una imagen clara de los mismos, y el contexto debe promover un enfoque de aprendizaje sobre la marcha. Cuando la TdC subyacente, la evolución del sistema y las métricas del CRP, y las pruebas, con los riesgos y supuestos asociados, se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales. Por otro lado, cuando la TdC no es específica del contexto (tiempo y lugar), como fue el caso de uno de los CRP (Granos, Legumbres y Cereales de Tierras Áridas-GLDC), la reflexión precisa sobre el progreso es un reto, ya que algunas vías de impacto de la TdC pueden quedar obsoletas.
La lectura de otras respuestas ha sido interesante, obviamente, su pregunta suscitó un debate intrigante. Si usted y sus colegas están interesados en obtener más información sobre las reflexiones anteriores sobre la TdC en el CGIAR y las revisiones reales de los CRP, pueden consultar los hipervínculos.
RE: Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?
Estimado John y colegas,
Excelente pregunta, que ha suscitado reflexiones basadas en las ideas de las revisiones independientes de 12 programas de investigación del CGIAR, recientemente finalizadas. Los programas de investigación (CRP) son programas globales de investigación para el desarrollo que abarcan temas que van desde programas de un solo cultivo, como el RICE, hasta programas transversales integrados, como el de Cambio Climático, Agricultura y Seguridad Alimentaria (CCAFS).
¿Qué relación guarda su propio trabajo con el tema de esta discusión?
Tras un anuncio anterior, la función de evaluación de los Servicios de Asesoramiento del CGIAR ha completado recientemente unas revisiones rápidas e independientes que han abarcado la calidad de la ciencia, así como la eficacia de los resultados obtenidos, centrándose en el progreso a lo largo de la TdC y la utilidad de la misma.
¿Puede proporcionar un ejemplo real de diseño de un proyecto adaptado a un entorno local?
Las pruebas no tienen por qué desvincularse de los riesgos y las hipótesis, ya que juntas ofrecen una visión global de las realidades sobre el terreno, independientemente del tamaño y el tipo de intervención/programa/iniciativa. Para poner las cosas en perspectiva, la TdC de los CRP tiene varios niveles. En primer lugar, todos los CRP tienen una TdC que contribuye a la estrategia general y al marco de resultados del CGIAR. En cascada, los CRP tienen a su vez diferentes programas insignia, cada uno de los cuales contribuye a través de vías de impacto específicas anidadas dentro de la TdC general. Los TdC de los programas insignia se diseñaron y desarrollaron en colaboración con los equipos de los proyectos, lo que refleja un enfoque ascendente, proceso muy apreciado en general en las revisiones.
En las revisiones de los CRP se observó que, aunque la mayoría de los CRP incorporaron datos procedentes de evaluaciones independientes anteriores y evaluaciones de impacto desde la conceptualización y durante la ejecución, la TdC tenía distintos niveles de uso y evolución. En general, para algunos de los CRP, las revisiones encontraron valor en el proceso -en cultivar el pensamiento de la TdC incluso entre los científicos- pero evidencia limitada en su uso como herramienta de medición, vinculándola al marco de resultados.
¿Cómo sería una teoría del cambio dinámica y basada en evidencias para ese proyecto?
Dada la naturaleza global del CGIAR y de la mayoría de los CRP, ha sido clave la base en el contexto. Las TdC son muy específicas del contexto/programa. Enmarcado en el contexto, uno de los CRP (Bosques, Árboles y Agroforestería-FTA) tenía un uso de la TdC considerablemente evolucionado. Tenía objetivos anuales adaptados e indicadores adaptados a las realidades del campo. Algunos CRP no introdujeron ningún cambio en su TdC (WHEAT). Una de las conclusiones de su revisión (WHEAT) fue que su TdC era buena para "(1) establecer prioridades, (2) evaluar la contribución de los resultados científicos, (3) buscar y justificar la financiación, (4) trazar la trayectoria hasta el impacto y (5) presentar informes", pero inadecuada para evaluar la eficacia del CRP o del buque insignia. ¿Por qué? El informe de revisión dice "porque ese no era su propósito". La intencionalidad es importante a la hora de desarrollar la TdC, para no limitar su uso en la generación de pruebas, el aprendizaje, la presentación de informes y la reprogramación, los equipos de desarrollo e iteración de la TdC tienen que ser intencionales a la hora de codiseñarla como una herramienta de pruebas iterativa, vinculando los indicadores, relacionando los impulsores y los riesgos, probando los supuestos y las vías causales.
¿Qué oportunidades y obstáculos ve?
La gestión adaptativa no es necesariamente ordenada, ya que las revisiones de la TdC basadas en las pruebas, los supuestos y los riesgos podrían hacer que el proceso, así como la agregación y la notificación de los resultados, fueran engorrosos. Sin embargo, esto puede gestionarse si los informes se estructuran de forma coherente sobre la base de los indicadores y objetivos vinculados a la TdC (actualizada/revisada). El conjunto de métricas debe reflejar el diseño, la aplicación y la ampliación de las innovaciones científicas sobre el terreno y ser flexible, útil y coherente para permitir el seguimiento de los progresos de forma que se obtenga una imagen clara de los mismos, y el contexto debe promover un enfoque de aprendizaje sobre la marcha. Cuando la TdC subyacente, la evolución del sistema y las métricas del CRP, y las pruebas, con los riesgos y supuestos asociados, se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales. Por otro lado, cuando la TdC no es específica del contexto (tiempo y lugar), como fue el caso de uno de los CRP (Granos, Legumbres y Cereales de Tierras Áridas-GLDC), la reflexión precisa sobre el progreso es un reto, ya que algunas vías de impacto de la TdC pueden quedar obsoletas.
La lectura de otras respuestas ha sido interesante, obviamente, su pregunta suscitó un debate intrigante. Si usted y sus colegas están interesados en obtener más información sobre las reflexiones anteriores sobre la TdC en el CGIAR y las revisiones reales de los CRP, pueden consultar los hipervínculos.
Saludos cordiales,
Erdoo Karen Jay-Yina