¿Conocen algún ejemplo de cómo examinar una teoría del cambio?

Estimada Anna Maria

Aquí tienes un enlace a una guía súper sencilla de 3 minutos que hicimos para crear una teoría del cambio (para la unidad de formación del PNUMA, en inglés).

Me encantaría ver qué más encuentras, ya que estoy segura de que esto es algo que le interesaría al equipo de evaluación de la FAO con el que estoy trabajando ahora.

Todo lo mejor
Harriet Matsaert
Consultora del equipo de comunicaciones de la OED de la FAO

Hola Anna, gracias por compartir conmigo los documentos y experiencias que te compartirán los colegas, estaré encantado de recibirlos.

Sinceramente

Gracias, Anna Maria, por facilitar esta conversación sobre la TdC.  He trabajado con organizaciones que llevan más de 20 años y que han revisado periódicamente su visión, misión y objetivos estratégicos; algunas tienen una comprensión no escrita de los fundamentos filosóficos con respecto a sus resultados deseados. Sin embargo, muchas de estas organizaciones maduras nunca han trabajado con un evaluador y muchas no han prestado suficiente atención a su TdC.  Creo que hay muchos casos en los que la evaluación de una organización de impacto social debe empezar por trabajar con el cliente para definir, organizar y visualizar su TdC integrando todos sus conceptos y marcos implícitos y explícitos; el proceso debe ser colaborativo y participativo, y es un poco como una arqueología/antropología foucaultiana del conocimiento. 

Estimados todos,

La teoría del cambio (TdC) y el análisis del marco lógico son modelos para llevar a cabo la evaluación del marco. Mientras que el marco lógico es lineal, la TdC es un modelo no lineal centrado en el ser humano que se utiliza en situaciones complejas como los desastres y el cambio climático.

La TdC puede utilizarse para la simulación y la predicción.

Saludos.

Norbert

Estimada Anna Maria,

Hola y creo que estás en la línea correcta - desarrollar algunas preguntas con las que enmarcar las conversaciones con las personas que han estado involucradas en la implementación. También añadiría a los que participaron en la elaboración de la TdC (que pueden ser personas diferentes).

Mi propia experiencia en la revisión de la TdC sigue tres grandes temas, cada uno con una pregunta general:

• Inclusión del enfoque/método: ¿quiénes participaron y en qué medida y de quién es la teoría? Por ejemplo, ¿fueron los asesores de los donantes los que consultaron a los beneficiarios/clientes o sólo el personal de los donantes el que realizó su propia investigación y fue de un lado a otro en diferentes áreas técnicas y luego fue aprobado por una unidad interna de control de calidad o .......? 
• Solidez de las pruebas: ¿en qué se basan las hipótesis desarrolladas y los resultados -productos, resultados e impacto-, las vías de cambio y los propios cambios? 
• Coherencia y verosimilitud del producto: ¿el diagrama/visual va acompañado de una narrativa clara que explique CÓMO la teoría de la acción (es decir, las actividades y los resultados) estimulará QUÉ cambio entre QUIENES y POR QUÉ, es decir, la teoría del cambio). 

El aspecto del producto también varía y, en este sentido, Silva tiene un buen punto, aunque yo no profesaría tener las habilidades de software para producir el segundo diagrama, ¡ni la capacidad intelectual para entenderlo! Las teorías de la acción y el cambio rara vez siguen una trayectoria lineal, pero no hay nada correcto o incorrecto. Una diferencia clave está en cómo el producto deja claras las consecuencias para el proceso de seguimiento y aprendizaje. Si se trata de la construcción de un puente, entonces simplemente se diseña un proceso establecido al infierno desde el principio hasta el final y se supervisa esto en consecuencia. Sin embargo, si se trata de productos del programa que pretenden estimular cambios en los comportamientos y las relaciones entre las personas -o resultados-, entonces esto tiene implicaciones obvias en el seguimiento: las suposiciones que se hacen sobre cómo y por qué responderán a los productos, importan tanto o más que los indicadores de resultados.  

Dependiendo de quién financie el trabajo que se realiza, cada donante tiene una visión y unas directrices ligeramente diferentes para los TdC (y los marcos lógicos). He desarrollado algunas para revisar el contenido de los marcos lógicos y las he adjuntado. Espero que te sirvan de ayuda.  

Sobre los marcos lógicos.......La metodología utilizada para desarrollar lo que la gente llama una TdC no es tan diferente de cómo algunos, como la GTZ (ahora GIZ), desarrollan marcos lógicos. Ver aquí (en inglés). Creo que es el mejor método que he visto, por lo que lo recomiendo encarecidamente como referencia para evaluar la calidad del proceso y, en muchos sentidos, del producto. Su esencia está bien captada por el estupendo vídeo de Harriet Maria. Las afirmaciones de que la TdC tiene más en cuenta la complejidad que los marcos lógicos y que hace hincapié en los supuestos y explica mejor los porqués y los cómos del cambio suenan un poco vacías.   

Al igual que ocurre con muchos métodos y herramientas, no hay nada que considere intrínseco a los marcos lógicos que haya animado a muchas agencias donantes a ignorar o utilizar mal el método y llegar a un producto demasiado simplista y considerado como no apto para el propósito. Dado que lo hicieron, no me sorprendió que se pasaran a ToC.......

Espero que todo esto te sirva de ayuda y que tengas suerte. Por favor, póngase en contacto conmigo si quiere hablar de cualquier cosa.

Mis mejores deseos,

Daniel  

Estimados miembros de EvalForward,

Las directrices de Hivos para la Teorías de Cambio (TdC) demuestran cómo la TdC debe incorporar todos los aspectos de las intervenciones de cambio, incluidos los procesos sociales en los que las acciones individuales interactúan continuamente con las de los demás.
Hivos desarrolló ocho pasos para pensar críticamente mientras se diseña una TdC. De especial interés puede ser el paso 8, que enumera algunas sugerencias básicas sobre cómo integrar la TdC en el proceso del proyecto.

Para aprender eficazmente de la TdC, los autores recomiendan celebrar sesiones periódicas de reflexión con el personal y las partes interesadas para debatir las actividades, las experiencias y los resultados.
Estas sesiones participativas, en las que hay que revisar los caminos, los supuestos y las estrategias, combinadas con una adecuada recopilación de datos, alinearán los procesos de gestión habituales con la TdC. Además, estas sesiones de diseño de la TdC deben reconocer las relaciones de poder e implicar los roles de liderazgo adecuados.
La TdC también debe ser transparente y visible en la vida diaria del equipo y los participantes del proyecto. 

Aquí encontrará el informe de Hivos, compartido en la sección de recursos de EvalForward: https://www.evalforward.org/resources/theory-change-thinking-practice

Saludos cordiales, Emiel

Dear Anna Maria,

The review of the theory of change (ToC) in the implementation of a development project is based on a participatory mid-term evaluation of the project. This evaluation should involve all project stakeholders. It is done on the basis of quality criteria according to which it is decided to review the intervention strategy. For example, the relevance of the project, its effectiveness and the participation of stakeholders should be assessed. The ToC review will be a readjustment of problematic elements of the logical framework, including the intervention logic and important assumptions. The major blockages to project success often come from these two categories of logframe elements.

Thank you. 

Dr Emile N. HOUNGBO

Agroeconomist, Teacher-Researcher

Expert in Elaboration and monitoring-evaluation of development projects

Estimada comunidad de EvalForward,

Muchas gracias a los que han contribuido a la discusión hasta ahora: Tom Archibald, Brian Belcher, Harriet Maria Matsaer, Hayat Askar, Moussa Coulibaly, Silva Ferretti, Seda Kojoyan, Nelson Godfried Agyemang, Nasser Samih Quadous y Alan Ferguson.

Me alegra ver muchas experiencias y puntos de vista interesantes sobre el tema de la revisión de la Teoría del Cambio. Gracias también por los útiles recursos documentales, vídeos y enlaces.

Del debate surgieron los siguientes puntos principales

1.    Existe un entendimiento compartido de que la revisión de la Teoría del Cambio es un ejercicio beneficioso para los proyectos, ya que ayuda a captar mejor los supuestos subyacentes y a identificar la razón de ser del éxito o del fracaso de las intervenciones específicas. Las organizaciones utilizan esas revisiones como una herramienta de aprendizaje que puede ayudar a mejorar la ejecución del proyecto o a diseñar los proyectos de seguimiento. 

2.    Como los proyectos y programas funcionan dentro de sistemas complejos, lo mismo ocurre con la Teoría del Cambio. Existe un reto visible en la adaptación del enfoque lineal para medir el progreso con el pensamiento sistémico que capta mejor esta complejidad. En este contexto, las políticas de evaluación de los donantes suelen preferir la imagen más centrada y fragmentada de la ejecución del proyecto.

3.    Las revisiones de la Teoría del Cambio suelen realizarse en el marco de la evaluación de los proyectos/programas; sin embargo, existen algunos problemas prácticos a la hora de aplicar los cambios sugeridos. Dado que el marco lógico u otros marcos de apoyo a la ejecución del proyecto son bastante fijos al inicio del mismo, es difícil introducir cambios en su curso. 

En cuanto a mi último punto, tengo que considerar otra cuestión: 

¿Conoce algún caso de evaluación en el que la revisión de la Teoría del Cambio haya dado lugar a la modificación de los resultados previstos o de los indicadores de impacto de un proyecto? ¿Cuán difícil fue introducir esos cambios?

Agradeceré sus comentarios y cualquier otro enlace o documento.

Un saludo,
Anna

Anna - No siempre es fácil convencer a los gestores de proyectos de la necesidad de elaborar una teoría del cambio a mitad de camino, ya que el marco lógico o la teoría del cambio originales suelen olvidarse una vez que se inicia el proyecto. Hay que ser estratégico y selectivo en el enfoque. La actitud, como dijo un gestor, es "si hacemos un buen trabajo de implementación de los productos, los resultados se cuidarán solos". Las grandes "reparaciones" de diseño se consideran perturbadoras y, por tanto, se resisten a ellas.  El proceso puede ser más crítico que la metodología. Reorientar un proyecto en torno a una teoría del cambio clara puede ser difícil, a menos que se centre en elementos concretos en los que los participantes reconozcan un problema de diseño. Por ejemplo, en una evaluación reciente recomendamos una revisión a medida de determinadas cuestiones estructurales centrada en aclarar los principales impulsores, agentes, vínculos y vías de acceso a los resultados finales:

"Es muy habitual que los proyectos realicen una revisión interna a mitad de camino y una actualización de su estrategia, centrándose especialmente en las vías de acceso a los resultados medibles. Hay varios enfoques posibles. Por ejemplo, esto podría implicar que los socios de la ejecución del proyecto identifiquen (a) los impulsores y agentes del cambio para los resultados inmediatos asociados a los principales componentes del proyecto, (b) los vínculos entre los componentes que facilitan estos impulsores y agentes, y (c) las subsiguientes vías conjuntas para obtener resultados bien definidos y medibles a nivel regional, nacional y local". .........Si bien el marco lógico esboza eficazmente la jerarquía de resultados ("el qué"), sería útil hacer más hincapié en las principales vías de la teoría del cambio ("el cómo") en la siguiente segunda fase."

Estimado equipo de EvalForward,

Sí, la reconstrucción de la teoría del cambio es el primer paso que seguimos al diseñar una evaluación. Lo he hecho en todas las evaluaciones en las que he participado en los últimos 5 años. La revisión y reconstrucción es participativa con el equipo del programa/proyecto. Por lo general, muchos proyectos tienen problemas en su diseño de la lógica de intervención. La preparación de las herramientas de evaluación y la concertación de las preguntas deben acordarse con el equipo de ejecución y, posteriormente, minimizar cualquier malentendido o falta de información. La nueva teoría del cambio se presenta tanto en el informe inicial como en el informe final.

Saludos,

Naser Qadous
Asociación Palestina de Evaluación 
Ramallah

En realidad la TOC es la "Teoría del Flujo" TOF. Esto es lo que hemos encontrado en el Consorcio e Instituto Panafricano de Consultoría (PACCI https://pacciafrica.wixsite.com/pacci-net). Toda la vida está en un Flujo con incertidumbre, complejidad y previsibilidad no realizada, haciendo que el cambio sea impredecible necesitando una actitud de máxima flexibilidad, con el fin de abordar de manera iterativa continua cuestiones emergentes multidimensionales y multidireccionales, literalmente pensando y actuando sobre sus pies.

Nelson Godfried Agyemang 

Presidente del Consorcio e Instituto Panafricano de Consultoría (PACCI)

Akyeremade Ashanti Ghana

Quería expresar mi acuerdo con Silva Ferretti a continuación, y también agradecer a otros por compartir sus notas y documentos de orientación.

Mis dos centavos.

Cuando una "teoría del cambio" (como se ilustra en el manual) tiene este aspecto - con flechas que van en la misma dirección, y con un esquema lineal (SI... ENTONCES), no es más que un marco lógico disfrazado.

Una "teoría del cambio" adecuada, apta para configuraciones complejas, tendrá flechas que van en muchas direcciones diferentes, interconectando ideas de forma difícil de desentrañar.
Es más desordenado, más difícil de navegar, pero... ¡eh! Así es como suele ser la realidad.  (este es el "mapa de la obesidad", por si te lo preguntas)

Hay un MUNDO DE DIFERENCIA entre ambos. 
Realmente no se puede abordar de la misma manera y con el mismo pensamiento.
Este debería ser el punto de partida de cualquier análisis.

Una vez que entiendas si estás tratando con una teoría del cambio lineal o compleja, entonces debes recordar
- En algunos casos el pensamiento lineal tiene su razón de ser. 
- cuando se aborda el cambio social, la mayoría de las veces no. 

Creo que es bastante desafortunado que la idea de la "teoría del cambio", nacida para apreciar la complejidad, haya acabado siendo sólo una forma diferente de visualizar el pensamiento logframe. 
Al menos deberíamos ser capaces de distinguir lo que es un marco lógico con esteroides y lo que es apreciar la complejidad, y avanzar a partir de ahí. 

Estimada Sra. Hayat,

Muchas gracias por compartir este documento. Será útil para alguien (incluido yo mismo).

Un saludo,

Moussa

Hola Anna-Maria,

Adjuntamos una guía de COT muy útil que utilizamos en la escuela (en iglès). 

Además, la Actividad de Seguimiento y Evaluación y Aprendizaje de USAID en Jordania creó un paquete de formación completo sobre la facilitación de un ejercicio de COT (inglés):

https://jordankmportal.com/collections/toc-training-materials

La Universidad de Western Michigan tiene algunas listas de control útiles sobre áreas específicas de la evaluación. Puede consultarlas si busca orientación sobre un componente/detalle específico de la COT e incluso en el proceso de evaluación que sigue. Aquí está el enlace:

https://wmich.edu/evaluation/checklists 

Saludos,

Hayat

Estimada Anna Maria,

Mis colegas y yo hemos trabajado mucho en el desarrollo y uso de la teoría del cambio en la evaluación de la investigación. Aunque la evaluación de la investigación tiene algunas características únicas, muchos de los principios son de aplicación general. Tenemos algunos recursos (Recursos - Eficacia de la investigación sobre la sostenibilidad) en el sitio web del programa que pueden serle útiles. Los "recursos adicionales" (Recursos adicionales - Eficacia de la investigación sobre la sostenibilidad) pueden ser los más relevantes para sus propósitos.

Le deseo lo mejor,

Brian Belcher

Saludos Anna Maria,

Este es un gran tema y un conjunto de preguntas. Yo también considero que la revisión de la TdC es una actividad común (y muy útil), pero que se beneficiaría de una orientación y atención más explícitas. En mi trabajo, lo he relacionado con la noción más amplia del pensamiento evaluativo: la creación y revisión de la TdC en colaboración se produce en un bucle de retroalimentación mutuamente beneficioso y que se refuerza con el pensamiento evaluativo.

En términos de recursos, se adjunta un documento sobre este proceso, con algunos pasos/directrices específicos sugeridos, que también está disponible a través del LearningLab de USAID aquí. 

Describe el trabajo apoyado por Catholic Relief Services para hacer exactamente lo que usted está refiriendo. Espero que sea útil.

Saludos,

Tom Archibald

https://sites.google.com/vt.edu/tgarch