¿Podemos utilizar una teoría del cambio dinámica y basada en evidencias para lograr el “aprendizaje local” durante el diseño de un proyecto?

Jordan
©FAO/Lucie Chocholata

¿Podemos utilizar una teoría del cambio dinámica y basada en evidencias para lograr el “aprendizaje local” durante el diseño de un proyecto?

Estimados miembros,

Me gustaría debatir sobre un tema que ha surgido en la comunidad de desarrollo/consolidación de la paz: los proyectos exitosos y sostenibles necesitan comprender los deseos, capacidades y relaciones de cada contexto local. A menudo, se desconocen las cuestiones locales relevantes y las preguntas sobre el aprendizaje local se deben descubrir “en la fase conceptual del proyecto/programa”, cuando el personal del proyecto comienza a interactuar con la población local.

Esta discusión se centra en la manera de hacerlo:

¿Podemos utilizar una teoría del cambio dinámica y basada en evidencias para lograr el “aprendizaje local” durante el diseño de un proyecto (es decir, para descubrir los deseos, capacidades y relaciones de un contexto local específico)?

Una teoría del cambio dinámica y basada en evidencias es aquélla que se revisa continuamente basándose en datos y hechos comprobados y no en suposiciones.

Por favor, comparta cualquier punto de vista o experiencia al respecto. Algunas preguntas adicionales para orientar la discusión:

  • ¿Puede proporcionar un ejemplo real de diseño de un proyecto adaptado a un entorno local?
  • ¿Cómo sería una teoría del cambio dinámica y basada en evidencias para ese proyecto?
  • ¿Conoce a alguien que podría utilizar esta teoría? ¿Qué oportunidades y obstáculos prevé?
  • ¿Qué relación guarda su propio trabajo con el tema de esta discusión?

Muchas gracias,

John

Esta discusión ha terminado. Por favor póngase en contacto con info@evalforward.org para más información.

Estimados todos,

Permítanme cerrar este tema de discusión con algunas reflexiones sobre: ¿Qué hemos aprendido? ¿Qué deberíamos aprender a continuación?

Dos cosas que hemos aprendido son:

1. Los proyectos a gran escala pueden adaptarse a los deseos y capacidades locales. El CGIAR lo hace, para garantizar que los agricultores adopten su investigación agrícola.

2. Una TdC en evolución puede hacerse sin apenas dinero ni conocimientos. (Véase el anexo.) Esto permite a los lugareños ser socios de pleno derecho en un proyecto de desarrollo a nivel de pueblo. 

Tres cosas que hay que aprender a continuación:

1. Los donantes pueden ofrecer contratos que no especifiquen acciones, resultados o indicadores de éxito. (Véase Grandori et al. y Reuer.) Esto eliminaría un importante obstáculo para el aprendizaje local. Las empresas hacen esto cuando contratan la innovación, porque las acciones y los resultados deseados no se conocen cuando se firma el contrato.

2. Las TdC anidadas permiten ampliarlas para ver más detalles, como los mapas de Internet. Las TdC anidadas se refieren a un pueblo, un mercado de productos o un grupo social concreto. Evolucionan rápidamente durante el inicio de un proyecto (cada semana o dos, no cada 6 meses o un año). Aléjese para ver una TdC con menos detalles (los actores son categorías en lugar de grupos con nombre). Esta categória de TdC puede convertirse en una primera aproximación a la TdC de un nuevo proyecto (por ejemplo, la figura 2, página 5 de la evaluación del desarrollo impulsado por la comunidad realizada por el FIDA).

3. Una TdC en evolución se revisa cuando las pruebas refutan fuertemente un paso en la cadena de causa y efecto, o se confirma cuando las pruebas validan fuertemente el paso. Esa prueba evidencial proporciona la responsabilidad que los donantes exigen.

Gracias a todos por sus contribuciones. Por favor, no duden en enviarme un correo electrónico con sus ideas adicionales.

John Hoven

jhoven@gmail.com

Dear John,

Thank you for this broad and rich theme.

A project can be defined as an action or compound actions to bring about change or change on a topic or topics in a defined locality. The ToC theorizes the expected change, as does the results framework, which groups together expected results on the basis of planned and budgeted activities throughout the execution of the project. However, it is important to note that the ToC must be more objective than a vision in its definition, it must be based on the results of a diagnosis of the intervention area in a contextual (social, economic, environmental, life style, etc.) and situational way in relation to the project. The definition of a problem tree is very important for objectively parameterising the ToC. Now, it is a theorising of the expected change in the project defined on the basis of contextual and situational evidence at the start of the project, so its revision is not essential if the project framework remains intact. However, if, for example, the project's intervention framework is revised at the end of a mid-term review, as well as the results framework, it becomes imperative to revise the ToC in order to be consistent with the evolution of the intervention. This task is the responsibility of the project team and stakeholders who have a clear picture of the intervention and who can also decide in a participatory manner on these different changes. 

Following the example of the Global Agriculture & Food Security Program Missing Middle Initiative (GAFS MMI) Senegal project, after the definition of the annual programs of work and budgets and partnerships, the project team, with the support of the stakeholders, began a revision of the project results framework followed by a slight re-parameterisation of the ToC because the changes did not require a global revision, which may be the case in other projects or programmes depending on the re-planning and revision. 

[contribution posted originally in French]

John Hoven y yo hemos dedicado un tiempo considerable a desarrollar una TdC en evolución para mi trabajo al servicio de la comunidad de Rwenena, provincia de S. Kivu, RDC. Junto con las ONG locales asociadas, llevo 10 años trabajando en los programas que cocreo y dirijo en la llanura de Ruzizi. Actualmente trabajo con agrónomos profesionales y facilitadores comunitarios en la Federación Congoleña de Organizaciones de Pequeños Agricultores-S. Kivu (FOPAC). 

La mayoría de los planes premeditados de nuestro equipo para impulsar el desarrollo dirigido por la comunidad en 2020 se vieron superados por tres crisis concurrentes: una inundación mortal en la ciudad de Uvira, tras la cual 75 familias de desplazados internos se unieron a la comunidad de Rwenena; la devastación de las cosechas en Rwenena a causa de la misma inundación; y las órdenes obligatorias de permanecer en casa ante la amenaza del COVID-19. Cada una de ellas contribuyó a la grave inseguridad alimentaria.

En gran parte como respuesta a estas condiciones se produjo un resultado positivo: la formación de una empresa de mujeres autorizada y certificada cuyos miembros producen y venden su propia fórmula de gel desinfectante para manos. Esta iniciativa surgió durante un tenso periodo de varios meses, y cada semana presentaba nuevos y tímidos cambios. John y yo hemos seguido el curso de este desarrollo con evaluaciones frecuentes utilizando un enfoque innovador para reflejar las condiciones locales. La flexibilidad de una TdC adaptable tenía mucho sentido: experimentamos con una herramienta gráfica en evolución que incorporaba nuevos conjuntos de condiciones para evaluar y actuar. Los componentes incluían las causas fundamentales, la causa y el efecto, las capacidades, las acciones y los resultados. En otra sección, la herramienta presentaba las sensibilidades programáticas, con la historia, las responsabilidades financieras, las aportaciones interculturales, los retos, las acciones y los éxitos. Otra ONG congoleña está dispuesta a probar una TdC evolutiva para un nuevo proyecto en Rwenena, provincia de Ituri, y/o en la provincia de N. Kivu.

 

Parece que tanto a nivel individual como organizativo se intenta asegurar que la TdC no esté "grabada en piedra" como mencionó Jackie Yptong, y que hay algunos buenos ejemplos de uso de la TdC para el aprendizaje como en el CGIAR. 

Les agradezco a todos sus contribuciones y la descripción de cómo usted o su organización utilizan la TdC.

Me gustaría ir un poco más allá y preguntaros si conocéis a actores/donantes que estén dispuestos a iniciar proyectos a nivel local sin suposiciones y a desarrollar una TdC a medida que desarrollan su comprensión de lo que se necesita sobre el terreno. 

En este caso, el proyecto no comenzaría con productos predefinidos, sino sólo con un resultado general/amplio, sin que se hayan definido aún las vías causales para alcanzarlo. 

A continuación, mis comentarios a Erdoo y Janvier y las preguntas de seguimiento para su consideración.

Erdoo Karen Jay-Yina dice que los programas de investigación agrícola del CGIAR están aprendiendo a utilizar las Teorías del Cambio de forma más eficaz. Sus TdC se centran en "los mecanismos de cambio por los que el nuevo producto agrícola es adoptado por el agricultor". ¿Pueden los agricultores utilizar las nuevas tecnologías? ¿Quieren hacerlo? Las TdC deben identificar los mecanismos de cambio basándose en pruebas e hipótesis comprobables. Los agricultores interesados deben participar desde el principio de la investigación". (ISPC 2012 pp. 14, 23, 7, 25) Erdoo dice: "Cuando la TdC subyacente y las pruebas se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales."

Mis preguntas de seguimiento para Erdoo:

¿Utiliza el GCIAI el rastreo de procesos para hacer predicciones basadas en pruebas? ¿Ha encontrado a otros miembros de la comunidad de desarrollo/construcción de la paz que utilicen la TdC como herramienta de aprendizaje?

Janvier Mwitrehe cita dos revisiones del uso de la TdC por parte de USAID. En Tanzania, "USAID/Tanzania no previó la necesidad de revisar la Teoría del Cambio fundacional. Sin embargo, después de su segundo año, quedó claro que la Teoría del Cambio original y la realidad de la implementación no estaban alineadas. Algunas de las actividades no eran ejecutables, debido a los cambios en el contexto local. La Teoría del Cambio original era una restricción vinculante para la implementación exitosa de la Actividad". Una revisión en 2019 de la TdC como herramienta de gestión adaptativa confirma el uso de la TdC por parte de USAID como restricción contractual vinculante: "El propósito principal de una revisión de la COT es asegurar la alineación de la COT con los objetivos que se pretenden abordar. Entre los factores que podrían motivar una revisión especial de una teoría del cambio se encuentran el hecho de no influir en el resultado del siguiente nivel como se esperaba, vías causales previamente desconocidas y cambios significativos en las condiciones políticas o ambientales del contexto local".

Creo que estos dos ejemplos demuestran que para USAID, una TdC es una restricción contractual vinculante más que una herramienta de aprendizaje. Mi nueva pregunta de seguimiento es la siguiente: Janvier, ¿conoces algún debate dentro de USAID sobre la necesidad de adaptarse al contexto local, en lugar de sólo adaptarse a los cambios del contexto?

John Hoven

Aprecio mucho el interés por el diseño de proyectos localizados, pero considero que es un verdadero reto logístico conseguirlo. El problema está relacionado con el tiempo y el coste asociados a la puesta en marcha de un proyecto para poder reunirse ampliamente y discutir las necesidades de los beneficiarios locales. Normalmente, desde la concepción hasta la ejecución del contrato transcurren al menos dos años, con una inversión inicial de más de un millón de dólares. Durante este largo periodo se toman la mayoría de las decisiones críticas sobre el tipo de innovación que se va a considerar y se contrata al personal necesario para ello. Por lo tanto, para cuando se tiene la oportunidad de discutir en detalle las necesidades, hay poca flexibilidad en el enfoque. Además, una vez implementada la información del Seguimiento y Evaluación (MEL) para evaluar el programa, a menudo se inclina para apaciguar al donante según sea necesario para asegurar las extensiones del contrato y la financiación futura.

Consulte las siguientes páginas web: 

https://smallholderagriculture.agsci.colostate.edu/project-development-... 

https://smallholderagriculture.agsci.colostate.edu/mel-impressive-numbe... 

Gracias.

 

Estimados colegas,

Me alegro de que John haya sacado el tema de la TdC.  A menudo me he preguntado por qué las evaluaciones revisan o mencionan la TdC en la fase inicial, pero parecen ignorarla durante el análisis; rara vez valoran la validez o solidez de la TdC y los supuestos que la acompañan. En cambio, las evaluaciones se centran en los criterios de la OCDE y rara vez he visto que se aborde la validez de la TdC en los informes de evaluación, ¿y usted?

No creo que los TdC estén grabados en piedra, por lo que me gusta pensar que las evaluaciones pueden/deben mostrar datos que 1. confirmen que los supuestos son válidos 2. demuestren o desmientan que el resultado y los resultados esperados son realistas, 3. identifiquen cuáles se harán realidad y 4. para los que no se harán, qué se puede hacer/cambiar en la intervención para que se logren los resultados; o bien nos digan qué ocurrirá si la intervención se lleva a cabo tal como está.

Me gustaría sugerir un artículo de John Mayne, que lamentablemente falleció el pasado diciembre. En él, John discute los criterios para una TdC robusta y una herramienta para llevar a cabo el análisis de las TdCs que él discute en un escenario ex-ante o ex-post. Véase https://www.researchgate.net/publication/321510354_Theory_of_Change_Ana…

Saludos cordiales,

Jackie

 

Estimado Juan, gracias por su comentario y por las muy buenas preguntas de seguimiento.

La respuesta a ambas preguntas es SÍ. Además, me gustaría indicar que, en la perspectiva de USAID, las intervenciones (actividades o proyectos) se diseñan dentro de los supuestos y las pruebas locales; y que los supuestos son uno de los componentes de la Teoría del Cambio (TdC). Para aquellos que necesiten saberlo, definamos primero el desarrollo de USAID, el marco de la TdC, y luego expliquemos cómo se puede revisar la TdC junto con ejemplos:

Contexto del desarrollo de USAID

Para que USAID opere en cualquier país, primero define un plan estratégico (llamado estrategia de cooperación al desarrollo del país-CDCS) alineándolo con las prioridades del país socio. La CDCS se basa en el análisis de los riesgos del país y en las consultas con diferentes instituciones gubernamentales y asociadas. La CDCS presenta un objetivo de desarrollo del país con objetivos de desarrollo sectorial que apoyan ese objetivo y resultados intermedios que se incluyen en las DO. Cada DO se describe junto con sus respectivos riesgos y supuestos.  Observemos que el plan de seguimiento del rendimiento se diseña junto con el plan estratégico.

En consonancia con la estrategia, se diseñan uno o varios proyectos para contribuir a la consecución de los objetivos de desarrollo.  Un "proyecto" se refiere a un conjunto de mecanismos de ejecución o "actividades" complementarias, a lo largo de un calendario y un presupuesto establecidos, destinados a lograr un resultado de desarrollo discreto, que a menudo está alineado con un resultado intermedio en un CDCS. Éste va acompañado de su plan MEL de proyecto asociado.

Por último, la actividad que es el nivel de ejecución. USAID ejecuta sus estrategias y proyectos mediante el diseño y la ejecución de actividades. Una actividad lleva a cabo una intervención o un conjunto de intervenciones, normalmente a través de un mecanismo de ejecución como un contrato, un programa de asistencia o una asociación. Esto va acompañado de su plan MEL de actividad asociado.

Simplificando, cualquier actividad se contempla dentro de un determinado proyecto que, a su vez, responde a un determinado objetivo de desarrollo. El plan MEL de actividad alimenta el plan MEL de proyecto, que a su vez alimenta el plan de seguimiento del rendimiento.

Marco CLA

Para hacer frente a un entorno cambiante, USAID integra el programa de Colaboración, Aprendizaje y Adaptación (CLA) en su ciclo de vida para garantizar que las intervenciones se coordinan con otras, se basan en una sólida evidencia y se adaptan de forma iterativa para seguir siendo relevantes a lo largo de la implementación. El marco de CLA consiste en gestionar de forma adaptativa a través del aprendizaje continuo.

Definiciones de USAID:

- Colaborar es el proceso de identificar estratégicamente a las partes interesadas clave, tanto internas como externas, y decidir cuál es la mejor manera de trabajar con ellas para añadir valor, colmar las lagunas y evitar la duplicación mientras se trabaja en pos de un objetivo compartido.

- El aprendizaje es el proceso intencionado de generar, captar, compartir y analizar información y conocimientos procedentes de una amplia gama de fuentes para fundamentar las decisiones y adaptar los programas para que sean más eficaces.

- La adaptación es un enfoque intencional para reflexionar sobre el aprendizaje y tomar decisiones y realizar ajustes iterativos en respuesta a la nueva información y a los cambios en el contexto.

Hacer una pausa y reflexionar de forma regular ayuda a identificar lo que funciona y lo que necesita ser adaptado, y permite a USAID considerar el impacto de los cambios en el entorno operativo o el contexto. Algunos ejemplos de oportunidades de pausa y reflexión son la revisión de la cartera, los eventos de aprendizaje, las reuniones de equipo, las comunidades de práctica, las redes de aprendizaje, etc. 

Revisión de la TdC

En el contexto de USAID, la lógica subyacente de un proyecto/actividad se recoge en la TdC. Una TdC sólida es una narración que resume el contexto, identifica los puntos de apalancamiento para el cambio, especifica los resultados necesarios, describe las intervenciones esperadas para lograr esos resultados y establece los supuestos asociados.

El proceso de elaboración de la teoría del cambio debe ser participativo, lo que implica un amplio compromiso con las partes interesadas locales y una serie de ejercicios dinámicos de pensamiento crítico para examinar el conjunto de pruebas, extraer diferentes puntos de vista y llegar a un consenso sobre el mejor enfoque posible teniendo en cuenta la información disponible.

Por lo tanto, el diseño de la TdC se basa siempre en las pruebas y los supuestos locales y, dado el rigor del proceso, es menos probable que se entienda mal. Aunque esto pueda ocurrir o los supuestos cambien, las acciones periódicas de pausa y reflexión ayudarán a darse cuenta de esa brecha y la gestión adaptativa debe seguir. Por ejemplo, para las actividades de Alimentos para la Seguridad, existe el requisito de que los socios desarrollen una Teoría del Cambio (TdC) para sus actividades y la revisen "siempre que haya nuevas pruebas, o cuando haya cambios en el contexto que afecten a los supuestos o a las vías de cambio hipotéticas" y, como mínimo, anualmente.

Tenemos ejemplos en los que se revisó la TdC:

En conclusión, USAID tiene diferentes opciones para adaptar sus intervenciones: a nivel de actividad, de proyecto o de estrategia. A través de su colaboración, USAID también puede co-crear. Para que esto sea posible, debe reforzar su aprendizaje.

Gracias

Janvier M.

 

Lo que más me gusta de este foro es que hace aflorar un amplio abanico de perspectivas. Permítanme resumirlo brevemente y sugerir un camino a seguir en cada perspectiva.

La cuestión es utilizar una teoría del cambio dinámica y basada en evidencias para para diseñar un proyecto adaptado a su entorno local.

Jean Providence Nzabonimpa ofreció algunas razones de peso para adoptar el concepto: "Hay importantes factores que se desconocen en la fase de diseño de las intervenciones de desarrollo... Mantener la TdC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y su cadena lógica se conocen de antemano y permanecen constantes. Esto rara vez es así... Supongamos que X productos conducen a Y resultados. Más tarde se descubre que los factores A y B también contribuyen, y de forma más significativa, a Y... Un proyecto que descubre nuevas pruebas debe incorporarlas al viaje de aprendizaje".

Pregunta de seguimiento para Jean Providence: ¿Puede describir un proyecto concreto que ilustre su punto de vista? ¿Conoce a alguien que pueda utilizar una TdC basada en pruebas y en evolución para diseñar un proyecto localizado?

Serdar Bayryyev destaca los proyectos de "desarrollo impulsado por la comunidad", que se centran en el capital social y la capacitación. En un estudio de casos de estos proyectos se utilizó una teoría del cambio basada en el supuesto de que un proceso de ejecución participativo apoya los procesos de desarrollo centrados en las personas.

Pregunta de seguimiento para Serdar: ¿Has visto algún proyecto de desarrollo impulsado por la comunidad que haya utilizado una TdC evolutiva y basada en pruebas para diseñar un proyecto localizado? ¿Conoce a alguien que pueda intentarlo?

Janvier Mwitirehe dice que "operamos en un entorno que evoluciona rápidamente y que hay que tener en cuenta". Esto puede hacerse a través del marco de "colaboración, aprendizaje y adaptación" (CLA) de USAID, que dice que "los supuestos críticos centrales de una TdC deben probarse periódicamente, lo cual es una característica central de la planificación basada en supuestos".

Pregunta de seguimiento para Janvier: Supongamos que el entorno de un proyecto no se conoce bien, pero no evoluciona rápidamente durante los primeros 6 meses en que el personal del proyecto interactúa con la población local. ¿Ayudará el marco CLA a que el personal del proyecto diseñe una TdC basada en pruebas locales y no en suposiciones? ¿Es USAID receptiva a la utilización de una TdC basada en pruebas y en evolución para diseñar un proyecto localizado?

Carlos Tarazona, Oficial Superior de Evaluación de la FAO, dice que "En la Oficina de Evaluación de la FAO hemos utilizado la Teoría del Cambio (TdC) ... sólo con fines de evaluación".

Pregunta de seguimiento para Carlos: ¿Ha visto una TdC basada en la evidencia y en evolución utilizada para la evaluación en tiempo real? Si alguien quisiera utilizar una TdC evolutiva basada en la evidencia para diseñar un proyecto localizado, ¿podría obtener asesoramiento útil de un experto en evaluación en tiempo real?

 

John Hoven

Estimado John y colegas,

Excelente pregunta, que ha suscitado reflexiones basadas en las ideas de las revisiones independientes de 12 programas de investigación del CGIAR, recientemente finalizadas. Los programas de investigación (CRP) son programas globales de investigación para el desarrollo que abarcan temas que van desde programas de un solo cultivo, como el RICE, hasta programas transversales integrados, como el de Cambio Climático, Agricultura y Seguridad Alimentaria (CCAFS).

¿Qué relación guarda su propio trabajo con el tema de esta discusión?

Tras un anuncio anterior, la función de evaluación de los Servicios de Asesoramiento del CGIAR ha completado recientemente unas revisiones rápidas e independientes que han abarcado la calidad de la ciencia, así como la eficacia de los resultados obtenidos, centrándose en el progreso a lo largo de la TdC y la utilidad de la misma.

¿Puede proporcionar un ejemplo real de diseño de un proyecto adaptado a un entorno local?

Las pruebas no tienen por qué desvincularse de los riesgos y las hipótesis, ya que juntas ofrecen una visión global de las realidades sobre el terreno, independientemente del tamaño y el tipo de intervención/programa/iniciativa. Para poner las cosas en perspectiva, la TdC de los CRP tiene varios niveles. En primer lugar, todos los CRP tienen una TdC que contribuye a la estrategia general y al marco de resultados del CGIAR.  En cascada, los CRP tienen a su vez diferentes programas insignia, cada uno de los cuales contribuye a través de vías de impacto específicas anidadas dentro de la TdC general. Los TdC de los programas insignia se diseñaron y desarrollaron en colaboración con los equipos de los proyectos, lo que refleja un enfoque ascendente, proceso muy apreciado en general en las revisiones.

En las revisiones de los CRP se observó que, aunque la mayoría de los CRP incorporaron datos procedentes de evaluaciones independientes anteriores y evaluaciones de impacto desde la conceptualización y durante la ejecución, la TdC tenía distintos niveles de uso y evolución. En general, para algunos de los CRP, las revisiones encontraron valor en el proceso -en cultivar el pensamiento de la TdC incluso entre los científicos- pero evidencia limitada en su uso como herramienta de medición, vinculándola al marco de resultados.

¿Cómo sería una teoría del cambio dinámica y basada en evidencias para ese proyecto?

Dada la naturaleza global del CGIAR y de la mayoría de los CRP, ha sido clave la base en el contexto. Las TdC son muy específicas del contexto/programa. Enmarcado en el contexto, uno de los CRP (Bosques, Árboles y Agroforestería-FTA) tenía un uso de la TdC considerablemente evolucionado. Tenía objetivos anuales adaptados e indicadores adaptados a las realidades del campo. Algunos CRP no introdujeron ningún cambio en su TdC (WHEAT). Una de las conclusiones de su revisión (WHEAT) fue que su TdC era buena para "(1) establecer prioridades, (2) evaluar la contribución de los resultados científicos, (3) buscar y justificar la financiación, (4) trazar la trayectoria hasta el impacto y (5) presentar informes", pero inadecuada para evaluar la eficacia del CRP o del buque insignia. ¿Por qué? El informe de revisión dice "porque ese no era su propósito". La intencionalidad es importante a la hora de desarrollar la TdC, para no limitar su uso en la generación de pruebas, el aprendizaje, la presentación de informes y la reprogramación, los equipos de desarrollo e iteración de la TdC tienen que ser intencionales a la hora de codiseñarla como una herramienta de pruebas iterativa, vinculando los indicadores, relacionando los impulsores y los riesgos, probando los supuestos y las vías causales.

¿Qué oportunidades y obstáculos ve?

La gestión adaptativa no es necesariamente ordenada, ya que las revisiones de la TdC basadas en las pruebas, los supuestos y los riesgos podrían hacer que el proceso, así como la agregación y la notificación de los resultados, fueran engorrosos. Sin embargo, esto puede gestionarse si los informes se estructuran de forma coherente sobre la base de los indicadores y objetivos vinculados a la TdC (actualizada/revisada).  El conjunto de métricas debe reflejar el diseño, la aplicación y la ampliación de las innovaciones científicas sobre el terreno y ser flexible, útil y coherente para permitir el seguimiento de los progresos de forma que se obtenga una imagen clara de los mismos, y el contexto debe promover un enfoque de aprendizaje sobre la marcha. Cuando la TdC subyacente, la evolución del sistema y las métricas del CRP, y las pruebas, con los riesgos y supuestos asociados, se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales. Por otro lado, cuando la TdC no es específica del contexto (tiempo y lugar), como fue el caso de uno de los CRP (Granos, Legumbres y Cereales de Tierras Áridas-GLDC), la reflexión precisa sobre el progreso es un reto, ya que algunas vías de impacto de la TdC pueden quedar obsoletas.

La lectura de otras respuestas ha sido interesante, obviamente, su pregunta suscitó un debate intrigante. Si usted y sus colegas están interesados en obtener más información sobre las reflexiones anteriores sobre la TdC en el CGIAR y las revisiones reales de los CRP, pueden consultar los hipervínculos.

Saludos cordiales,

Erdoo Karen Jay-Yina

 

Estimados todos,

La realidad es que operamos en un ambiente de rápida evolución que debe ser considerado al implementar nuestros programas o proyectos. Como señalaron los colegas, las limitaciones planteadas por COVID-19, por ejemplo, deben impulsar la adaptación para lograr con éxito los resultados previstos. 

Esto puede hacerse, por ejemplo, introduciendo lo que USAID llamó "marco de colaboración, aprendizaje y adaptación (CLA)" [CLA Tool Kit Landing | USAID Learning Lab], que implica un conjunto de prácticas integradas en el ciclo del programa para asegurar que los programas se coordinen con otros, se basen en una sólida base de pruebas y se adapten de manera iterativa para seguir siendo relevantes a lo largo de la implementación. Con esto, las suposiciones críticas identificadas que son centrales para una TdC deben ser probadas periódicamente - lo cual es una característica central de la planificación basada en suposiciones - y si ya no son válidas, entonces se emplean pasos de gestión adaptativa como respuesta.

Es cierto que esto conlleva una complejidad de aplicación que también requiere el uso de nuevos métodos de evaluación que respondan a la complejidad, y que aún están en evolución.  En tales condiciones, es necesario integrar la ciencia de los datos* en las actividades del MEL.

Nota: La ciencia de los datos es un campo interdisciplinario que utiliza métodos, procesos, algoritmos y sistemas científicos para extraer conocimientos y percepciones de muchos datos estructurales y no estructurados. La ciencia de los datos está relacionada con la minería de datos, el aprendizaje por máquina y los grandes datos (https://en.wikipedia.org/wiki/Data_science).

 

Mejor,

Janvier

Estimado John,

¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!

Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.

Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?

Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.

  • Con lo anterior, un proyecto localizado sería un proyecto con todos los colores locales. Con diferentes tamaños y formas, todos entrando a jugar en el lugar que les corresponde. Esto no significa ser demasiado ambicioso (demasiados colores pueden desdibujar la visión, es una broma pero no importa, ¡yo uso gafas!). Un proyecto que descubre nuevas evidencias debe incorporarlas en el viaje de aprendizaje. Un proyecto de este tipo tiene más probabilidades de lograr los resultados deseados. En vista de la evolución del contexto en el tiempo, un proyecto con una TdC estática es más probable que se vuelva irrelevante con el tiempo.
  • En mi opinión, una TdC debe ser dinámica o flexible en contextos complejos y en evolución temporal. ¿Existe algún contexto de desarrollo que pueda ser totalmente estático durante un tiempo? Supongo que no. Esto me recuerda las teorías de sistemas y las teorías de complejidad sin las cuales caeríamos fácilmente en la trampa de la linealidad. En mi opinión, no hay ningún perjuicio en empezar con suposiciones, pero cuando surjan pruebas, deberíamos ser capaces de incorporar nuevas pruebas en la teoría de la aplicación y la teoría de los programas que, si se combinan, pueden constituir la TdC completa para las intervenciones de desarrollo. Ya no se miran los proyectos en silos (¡supongo que hemos visto la coherencia como un nuevo criterio de evaluación del CAD de la OCDE!). En mi opinión, es necesario comprender el cuadro completo (es decir, conocimientos actuales + futuros) para beneficiar a la parte (es decir, sólo los conocimientos actuales). Pero la comprensión de la parte individual es menos probable que beneficie al conjunto.
  • Los desafíos con la evolución de la TdC están relacionados con las evaluaciones de impacto, en su mayoría ensayos de control aleatorios. Con la evolución de la TdC, los componentes de los ensayos de control aleatorios o los brazos de estudio se volverán borrosos y la contaminación incontrolable. En la jerga estadística, la varianza  inexplicable será mayor de lo necesario. Mientras que hay laboratorios para las ciencias naturales y físicas, creo que hay pocos, si es que hay alguno, laboratorios confiables de ciencias sociales y del comportamiento. El beneficio de saber cómo navegar por las TdC complejas es que uno puede aprender las lecciones apropiadas y generar evidencia menos cuestionable sobre el impacto de los proyectos de desarrollo.

Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.

Quisiera terminar con una cita:

"Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020

Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.

Una vez más, gracias John y colegas por traer y discutir este importante tema.

Manténganse bien y seguros.

Jean Providence

Estimado John,

En mi opinión, la Teoría del Cambio, o marco lógico, o cualquier otro método utilizado para guiar el diseño de la intervención (proyecto) de desarrollo es fundamental. Estos métodos deben basarse en un análisis exhaustivo del contexto de desarrollo y de las cuestiones críticas que deben abordarse para satisfacer las necesidades y los deseos de las comunidades locales.

Las organizaciones multilaterales tienen algunos ejemplos de proyectos de "desarrollo impulsado por la comunidad". Por ejemplo, el Fondo Internacional de Desarrollo Agrícola (FIDA) ha publicado recientemente una síntesis de evaluación de "El desarrollo impulsado por la comunidad en los proyectos apoyados por el FIDA" (FIDA, abril de 2020), que se basa en el examen de estudios de casos de proyectos de desarrollo impulsado por la comunidad. La teoría del cambio utilizada para esta síntesis se basó en el supuesto de que el capital social y el empoderamiento son el centro del enfoque del desarrollo impulsado por la comunidad. Esta teoría del cambio parte del supuesto de que el proceso de aplicación participativa "... se espera que logre una transformación verdaderamente sostenible de los medios de vida rurales mediante el fomento de la capacidad de los pobres para utilizar una gama más amplia de opciones de medios de vida y la transformación de las relaciones entre la comunidad y el gobierno para apoyar mejor los procesos de desarrollo centrados en las personas". Esta teoría del cambio se ilustra en la figura 2 de la página 5 del documento de síntesis, accesible a través del siguiente enlace:

https://www.ifad.org/documents/38714182/41898849/ESR+CDD+-+final+with+c…

Saludos cordiales,

Serdar Bayryyev

Organización de las Naciones Unidas para la Agricultura y la Alimentación

Food and Agriculture Organization

 

Estimado John,

¡Gracias por comenzar esta interesante discusión! El enfoque que esboza es muy similar a la forma en que el Mapeo de Resultados (OM) se utiliza para la planificación y el seguimiento. En la Oficina de Evaluación de la FAO hemos utilizado la Teoría del Cambio (ToC) y el OM con fines de evaluación solamente.

Creo que puede encontrar algunos ejemplos sobre la evolución de la Teoría del Cambio y la aplicación del mapeo de alcances en el mundo real en el sitio web de Better Evaluation: https://www.betterevaluation.org/en/plan/approach/outcome_mapping

Saludos cordiales,

Carlos