Gracias, Carlos, por mencionar otro tema importante en este foro y por los enlaces a los documentos. También agradezco a los colegas que compartieron su experiencia y comentarios.
La teoría del cambio, el marco lógico (marco lógico) y las cadenas de resultados son metodologías para planificar, medir y evaluar programas. Cada uno tiene una representación visual en forma de una matriz de lo que sucede o se espera que suceda como resultado del programa o proyecto o cualquier iniciativa al respecto. Como facilitador anterior en IPDET (capacitación del Programa Internacional para la Evaluación del Desarrollo financiada por el Banco Mundial) y en mi práctica, he descubierto que la Teoría del Cambio es un nombre o título que no se identifica fácilmente como metodología; es un término que puede causar temor en la mente ?. Prefiero usar Logic Model, un término que algunos usan indistintamente para describir la TdC. Sin embargo, el modelo lógico también es sinónimo de cadenas de resultados (https://www.betterevaluation.org/en/search/site/result%20chain) y Teoría del programa / Teoría del cambio https://www.betterevaluation.org/en/ rainbow_framework / define / development_programme_theory.
En mi opinión, la Teoría del cambio es una herramienta más poderosa que las otras dos mencionadas, ya que los vínculos directos entre Actividades, Producto y Resultados (a corto y mediano plazo y largo plazo, a menudo denominados Impacto) deben establecerse y mostrarse en la matriz . Además, la TdC no está completa sin supuestos. No es una matriz única, pero debe / puede revisarse y modificarse con el tiempo. Durante la evaluación, los supuestos deben verificarse y, si no se cumplen o si las actividades se modificaron durante el curso del programa, la matriz debe revisarse en consecuencia
Los requisitos del ToC fomentan una reflexión profunda de lo que el programa está tratando de lograr. Una dificultad a menudo encontrada es decidir qué es un producto y qué es un resultado. El documento Kellogg me pareció una guía muy útil; utiliza el término modelo lógico. https://www.bttop.org/sites/default/files/public/W.K.%20Kellogg%20LogicModel.pdf .
La semántica es importante en el desarrollo de la matriz y los verbos activos como "Aumentado" que denotan cambios, ayudan a hacer la distinción entre producto y resultado.
También encuentro que llenar la columna Actividades genera debates que a menudo muestran que las partes interesadas no son conscientes o tenían opiniones diferentes de lo que realmente estaba sucediendo durante la implementación del programa. Las discusiones de seguimiento a menudo tendrían lugar sobre si las actividades desencadenarán un cambio de comportamiento entre los beneficiarios del programa y si tienen un efecto indirecto y resultados en la comunidad o en la población objetivo general. Encuentro que la matriz TdC facilita la identificación de indicadores que son más significativos para medir el desempeño y los resultados.
Estoy de acuerdo en que la TdC debe desarrollarse de manera participativa. Sin embargo, en el momento de la evaluación, es posible que no exista o que el disponible sea pobre / confuso. En estos casos, después de una revisión inicial del documento y discusiones con el personal del programa, diseñaré la matriz o modificaré la existente y la distribuiré. Me ayuda a comprender el programa y formular mis solicitudes de aclaración. Como la matriz es fácil de leer (me gusta de izquierda a derecha), generalmente recibe atención y comentarios. Terminamos con todos los involucrados teniendo la misma comprensión del programa y sus logros esperados. He visto las preguntas de evaluación revisadas como resultado de este ejercicio.
RE: How useful are theories of change in development programmes and projects?
Gracias, Carlos, por mencionar otro tema importante en este foro y por los enlaces a los documentos. También agradezco a los colegas que compartieron su experiencia y comentarios.
La teoría del cambio, el marco lógico (marco lógico) y las cadenas de resultados son metodologías para planificar, medir y evaluar programas. Cada uno tiene una representación visual en forma de una matriz de lo que sucede o se espera que suceda como resultado del programa o proyecto o cualquier iniciativa al respecto. Como facilitador anterior en IPDET (capacitación del Programa Internacional para la Evaluación del Desarrollo financiada por el Banco Mundial) y en mi práctica, he descubierto que la Teoría del Cambio es un nombre o título que no se identifica fácilmente como metodología; es un término que puede causar temor en la mente ?. Prefiero usar Logic Model, un término que algunos usan indistintamente para describir la TdC. Sin embargo, el modelo lógico también es sinónimo de cadenas de resultados (https://www.betterevaluation.org/en/search/site/result%20chain) y Teoría del programa / Teoría del cambio https://www.betterevaluation.org/en/ rainbow_framework / define / development_programme_theory.
En mi opinión, la Teoría del cambio es una herramienta más poderosa que las otras dos mencionadas, ya que los vínculos directos entre Actividades, Producto y Resultados (a corto y mediano plazo y largo plazo, a menudo denominados Impacto) deben establecerse y mostrarse en la matriz . Además, la TdC no está completa sin supuestos. No es una matriz única, pero debe / puede revisarse y modificarse con el tiempo. Durante la evaluación, los supuestos deben verificarse y, si no se cumplen o si las actividades se modificaron durante el curso del programa, la matriz debe revisarse en consecuencia
Los requisitos del ToC fomentan una reflexión profunda de lo que el programa está tratando de lograr. Una dificultad a menudo encontrada es decidir qué es un producto y qué es un resultado. El documento Kellogg me pareció una guía muy útil; utiliza el término modelo lógico. https://www.bttop.org/sites/default/files/public/W.K.%20Kellogg%20LogicModel.pdf .
La semántica es importante en el desarrollo de la matriz y los verbos activos como "Aumentado" que denotan cambios, ayudan a hacer la distinción entre producto y resultado.
También encuentro que llenar la columna Actividades genera debates que a menudo muestran que las partes interesadas no son conscientes o tenían opiniones diferentes de lo que realmente estaba sucediendo durante la implementación del programa. Las discusiones de seguimiento a menudo tendrían lugar sobre si las actividades desencadenarán un cambio de comportamiento entre los beneficiarios del programa y si tienen un efecto indirecto y resultados en la comunidad o en la población objetivo general. Encuentro que la matriz TdC facilita la identificación de indicadores que son más significativos para medir el desempeño y los resultados.
Estoy de acuerdo en que la TdC debe desarrollarse de manera participativa. Sin embargo, en el momento de la evaluación, es posible que no exista o que el disponible sea pobre / confuso. En estos casos, después de una revisión inicial del documento y discusiones con el personal del programa, diseñaré la matriz o modificaré la existente y la distribuiré. Me ayuda a comprender el programa y formular mis solicitudes de aclaración. Como la matriz es fácil de leer (me gusta de izquierda a derecha), generalmente recibe atención y comentarios. Terminamos con todos los involucrados teniendo la misma comprensión del programa y sus logros esperados. He visto las preguntas de evaluación revisadas como resultado de este ejercicio.
Sería interesante saber cuántos Ipdeters que practican la evaluación, utilizan ToC en su trabajo. ToC está en el núcleo de IPDET. Ver Road to Results, Morras y Rist 2009, el libro de texto de esta capacitación. https://openknowledge.worldbank.org/bitstream/handle/10986/2699/52678.pdf?sequence=1&isAllowed=y