¿Qué tan útiles son las teorías del cambio en los programas y proyectos de desarrollo?

Hola Carlos,

A continuación encontrará mis comentarios sobre el uso de la TdC.

Esencialmente, las TdC están destinadas a capturar los cambios que sufre una intervención desde su planificación hasta el momento en que concluye y, posteriormente, en forma de impacto. La escala de la TdC generalmente se caracteriza por insumos, actividades, productos, resultados e impacto. Por lo general, los equipos de monitoreo de proyectos que participan en la gestión diaria de los proyectos solo pueden prever el poco uso de TdC en forma de resultados inmediatos (a corto plazo), mientras que la diferencia que se espera que haga el proyecto será evaluada por un equipo de evaluación que evalúa el resultado (mediano plazo) y el impacto (largo plazo) de las intervenciones.

Hemos utilizado esta herramienta para diseñar un sistema de M&E de nuestra estrategia nacional sobre inclusión financiera desde 2015 en colaboración con el Banco Mundial. Puedo decir con certeza que es muy eficaz en el paradigma general de evaluación del desarrollo dado que se realiza un trabajo preliminar, planificación y elección de expertos adecuados antes de elegir indicadores relevantes (representación verdadera y justa) en toda la escala de la TdC.

En resumen, algunas de las conclusiones que puedo resumir son las siguientes:

* Esta es una herramienta utilizada principalmente por profesionales expertos en S&E y probablemente no tanto por los gerentes de proyectos o el personal que solo participen en las tareas de monitoreo.

* Es necesario comprender la esencia de las TdC, que funcionan tácitamente en coherencia con los principios de Monitoreo y Evaluación Basados ​​en Resultados (RBM) en comparación con las prácticas de monitoreo convencionales.

* Por último, pero no menos importante, si está buscando desarrollar un sistema de S&E que funcione en coherencia con los resultados de multitud de intervenciones (nivel nacional / global), no hay mejor herramienta que TdC para mapear los resultados en todos los niveles que puedan ser ajustado bajo un marco de captura de evidencia más amplio y alineado.

Es por eso que la TdC ha ganado una gran importancia para la formulación de políticas basadas en evidencia y tanto en el diseño de nuevas intervenciones basadas en evidencia previa.

 Para una revisión del trabajo del profesional, sugeriría la guía de Linda G. Morra Imas y Ray C. Rist (2009), "El camino hacia los resultados". Además, ya compartí con EvalForward mi publicación, "Designing Robust M&E Systems ..". Espero que aquí pueda encontrar los ejemplos de TdC que se están mapeando desde el sistema RBM.

Estaré encantado de ayudarlo en caso de cualquier consulta.

Saludos,

Zahid Shabbir
Joint Director
State Bank of Pakistan

Thank you Jackie and Richard, and all the previous commenters! It has been an interesting discussion, with so many different points of view and insights. We will soon be wrapping this up and summarize the learning in an Evalforward's blog. Keep an eye on it!

Best to all,

Carlos

Cuando miro la teoría del cambio (TdC), particularmente cuando se aplica al desarrollo y más particularmente a la agricultura de pequeños productores, me pregunto si estamos obteniendo un análisis preciso de su efectividad, o si estamos atrapados en la necesidad de los implementadores de apaciguar el donante para asegurar extensiones de proyectos futuros. Esto da como resultado proyectos que parecen mucho más exitosos de lo que realmente son con una gran cantidad de dinero invertido para un beneficio limitado y los beneficiarios previstos se quedan con poco impacto.

Creo que gran parte de las TdC que se aplican a las comunidades de pequeños productores se deriva de la academia y se basa más en lo que es socialmente deseable que la efectividad en el cambio sostenido y que implica un uso más amplio en el país de origen del donante que la realidad que es engañosa para el país anfitrión. Gran parte de las TdC que se imponen a las comunidades de pequeños productores se basa en organizar y depender de organizaciones de agricultores o de personas en lugar de hardware o software. La idea es que las personas pueden organizarse para trabajar en su interés personal colectivo, incluso cuando esto entra en conflicto con el interés personal individual. Desafortunadamente, el interés personal individual generalmente tendrá prioridad, por lo que estas TdC requieren una facilitación externa continua, si no subsidios directos para sobrevivir y colapsar tan pronto como los últimos asesores se vayan, tal vez antes de que despejen la sala de embarque para el vuelo a casa.

El mejor ejemplo de esto es la imposición de cooperativas durante casi 40 años para proporcionar servicios comerciales a pequeños productores en términos de insumos y mercados consolidados. Esto se hace con una manta, pero nunca se corrobora la difamación calumniosa de los comerciantes privados. Esto se impone incluso mientras el movimiento cooperativo en los EE. UU., que tuvo un impacto positivo importante hace un siglo, ha estado en declive durante varias décadas y cuando se informó por última vez hace 20 años representaba menos del 30% de la actividad comercial de la agricultura. Me imagino que lo mismo sería cierto para las cooperativas en la UE u otras bases de donantes. El problema con el modelo cooperativo es que es engorroso administrativo, lo que se traduce en altos costos generales que, en el mundo en desarrollo financieramente reprimido, superará rápidamente los beneficios financieros de los insumos de gran volumen y los productos comercializados. Cuando esto sucedió, depender de las cooperativas obligará a los pequeños agricultores a sumirse en la pobreza. El resultado es que los proyectos basados ​​en cooperativas solo atraen a un pequeño porcentaje de los beneficiarios potenciales, tal vez del 10 al 12%, e incluso entonces, la mayor parte de la producción de los miembros se vende a los comerciantes privados vilipendiados, dejando a la cooperativa con poco más que en -pagos de préstamos de la humanidad. No es lo que objetivamente podríamos llamar un proyecto exitoso. Sin embargo, con un poco de contabilidad creativa siempre se consideran exitosos al menos mientras alguien los facilita.

Otro ejemplo es el uso de asociaciones de usuarios de agua para gestionar el agua de riego y mantener los canales. Se basan en compañías Ditch en Colorado (desde donde escribo) y otros estados en el oeste de los Estados Unidos. El éxito de estas empresas se basa en una ley de agua muy estricta y rigurosamente aplicada que no está disponible en la mayoría de los proyectos de riego en los que se imponen asociaciones de usuarios de agua. Por lo tanto, si bien existe un interés común en el mantenimiento de los canales de riego, el interés individual adquirido cambia 180 grados una vez que se pasa la entrada del individuo. Una vez más, pueden existir mientras haya ayuda externa, pero colapsarán una vez que haya terminado.

Consulte las siguientes páginas web, incluidos los enlaces internos:

https://smallholderagriculture.agsci.colostate.edu/appeasement-reporting-in-development-projects-satisfying-donors-at-the-expense-of-beneficiaries/

https://smallholderagriculture.agsci.colostate.edu/perpetuating-cooperatives-deceptivedishonest-spin-reporting/

https://smallholderagriculture.agsci.colostate.edu/request-for-information-basic-business-parameters/

https://smallholderagriculture.agsci.colostate.edu/mel-impressive-numbers-but-of-what-purpose-deceiving-the-tax-paying-public/

https://smallholderagriculture.agsci.colostate.edu/financially-suppressed-economy-2/

Gracias, Carlos, por mencionar otro tema importante en este foro y por los enlaces a los documentos. También agradezco a los colegas que compartieron su experiencia y comentarios.

La teoría del cambio, el marco lógico (marco lógico) y las cadenas de resultados son metodologías para planificar, medir y evaluar programas. Cada uno tiene una representación visual en forma de una matriz de lo que sucede o se espera que suceda como resultado del programa o proyecto o cualquier iniciativa al respecto. Como facilitador anterior en IPDET (capacitación del Programa Internacional para la Evaluación del Desarrollo financiada por el Banco Mundial) y en mi práctica, he descubierto que la Teoría del Cambio es un nombre o título que no se identifica fácilmente como metodología; es un término que puede causar temor en la mente ?. Prefiero usar Logic Model, un término que algunos usan indistintamente para describir la TdC. Sin embargo, el modelo lógico también es sinónimo de cadenas de resultados (https://www.betterevaluation.org/en/search/site/result%20chain) y Teoría del programa / Teoría del cambio https://www.betterevaluation.org/en/ rainbow_framework / define / development_programme_theory.

En mi opinión, la Teoría del cambio es una herramienta más poderosa que las otras dos mencionadas, ya que los vínculos directos entre Actividades, Producto y Resultados (a corto y mediano plazo y largo plazo, a menudo denominados Impacto) deben establecerse y mostrarse en la matriz . Además, la TdC no está completa sin supuestos. No es una matriz única, pero debe / puede revisarse y modificarse con el tiempo. Durante la evaluación, los supuestos deben verificarse y, si no se cumplen o si las actividades se modificaron durante el curso del programa, la matriz debe revisarse en consecuencia

Los requisitos del ToC fomentan una reflexión profunda de lo que el programa está tratando de lograr. Una dificultad a menudo encontrada es decidir qué es un producto y qué es un resultado. El documento Kellogg me pareció una guía muy útil; utiliza el término modelo lógico. https://www.bttop.org/sites/default/files/public/W.K.%20Kellogg%20LogicModel.pdf .

La semántica es importante en el desarrollo de la matriz y los verbos activos como "Aumentado" que denotan cambios, ayudan a hacer la distinción entre producto y resultado.

También encuentro que llenar la columna Actividades genera debates que a menudo muestran que las partes interesadas no son conscientes o tenían opiniones diferentes de lo que realmente estaba sucediendo durante la implementación del programa. Las discusiones de seguimiento a menudo tendrían lugar sobre si las actividades desencadenarán un cambio de comportamiento entre los beneficiarios del programa y si tienen un efecto indirecto y resultados en la comunidad o en la población objetivo general. Encuentro que la matriz TdC facilita la identificación de indicadores que son más significativos para medir el desempeño y los resultados.

Estoy de acuerdo en que la TdC debe desarrollarse de manera participativa. Sin embargo, en el momento de la evaluación, es posible que no exista o que el disponible sea pobre / confuso. En estos casos, después de una revisión inicial del documento y discusiones con el personal del programa, diseñaré la matriz o modificaré la existente y la distribuiré. Me ayuda a comprender el programa y formular mis solicitudes de aclaración. Como la matriz es fácil de leer (me gusta de izquierda a derecha), generalmente recibe atención y comentarios. Terminamos con todos los involucrados teniendo la misma comprensión del programa y sus logros esperados. He visto las preguntas de evaluación revisadas como resultado de este ejercicio.

Sería interesante saber cuántos Ipdeters que practican la evaluación, utilizan ToC en su trabajo. ToC está en el núcleo de IPDET. Ver Road to Results, Morras y Rist 2009, el libro de texto de esta capacitación. https://openknowledge.worldbank.org/bitstream/handle/10986/2699/52678.pdf?sequence=1&isAllowed=y

Estimados colegas,

Quería plantear un aspecto que aparentemente se ha convertido en un procedimiento estándar al hacer las Teorias del Cambio: muchos colegas han dicho que usan esta herramienta en gran medida para el diseño / implementación / evaluación de programas. Sin embargo, la literatura sugiere que "las Teorías de Cambio pueden comenzar con un programa, pero son mejores cuando se comienza con una meta, antes de decidir qué enfoques programáticos son necesarios". (Ver presentación de AEA compartida en un commentario anterior)

Por lo tanto, el punto de partida para las TdC debería ser idealmente objetivos de desarrollo / humanitarios en un tema particular (reducción de la pobreza / hambre, adaptación al cambio climático, desarrollo rural, empoderamiento de las mujeres, salvar vidas) que han sido identificados por las partes interesadas clave (generalmente el Gobierno, ya que representarnos a todos, o actores humanitarios en su ausencia) para un área geográfica dada (país, estado / región, provincia, distrito), y no el objetivo específico del programa (o proyecto).

Como ejemplo de esto, en una evaluación reciente de las contribuciones de la FAO al desarrollo del sector agroalimentario en México (http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c/1202316 ), utilizamos las teorías de cambio del gobierno mexicano para mapear y luego evaluar las contribuciones de la FAO. El gobierno mexicano (miembro de la OCDE) tenía por ley que desarrollar teorías de cambio a diferentes niveles temáticos y geográficos (nacional / estatal) como parte de su planificación a largo plazo (planes nacionales de desarrollo) y mediano plazo (estrategias y programas) proceso, a menudo con asesoramiento CONEVAL (https://www.coneval.org.mx/Paginas/principal.aspx ). Esto, junto con el hecho de que la FAO había planeado su programa de trabajo de acuerdo con las teorías de cambio de los mexicanos, permitió que la evaluación evaluara las contribuciones de la FAO en relación con estos marcos.

Me preguntaba si otros colegas han experimentado el desarrollo de ToC con objetivos de desarrollo / humanitarios acordados localmente / propios como punto de partida (y no el objetivo específico de la agencia de financiación en mente), y si piensan que este es un camino factible en sus propios países / agencias.

Atentamente

Carlos

Estimado Elamin,

Gracias por tu pregunta. Hace unos años, la American Evaluation Association tuvo una discusión sobre este tema (ToC vs Logic Models). A continuación hay un enlace a la presentación realizada por Helene Clark (El Centro de Teoría del Cambio) durante esta sesión https://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/TOCs_and_Logic_Models_forAEA.pdf

Atentamente,

Carlos

Estimada Silva

El modelo lógico y la TdC son significados más o menos intercambiables, que generalmente se traducen en la construcción del LogFrame.

Neil podría ayudar a aclarar este tema de la teoría del cambio y su vinculación con el LogFrame, por favor.

Elamin
EU consultant
Lead Evaluation Expert
Nairobi

Gracias a todos por todas las maravillosas contribuciones sobre el tema. He trabajado con proyectos donde se redactó una TdC durante la conceptualización y planificación del programa y he trabajado con proyectos donde no había TdC. He descubierto que cuando no hay una TdC, las intervenciones del proyecto tienden a centrarse más en realizar las actividades que no sean el cambio que se espera que la intervención traiga. En este caso, se siente como hacer el trabajo sin la visión. Sin embargo, con la TdC presente, el aspecto de cambio de la intervención es mucho más pronunciado y afecta la forma en que se hacen las cosas durante la implementación del proyecto. Los marcos lógicos y las cadenas de resultados también son más importantes. Pero son mucho más útiles cuando su diseño también está informado por una TdC.

Discurso muy útil y enriquecedor. El aprendizaje en esta plataforma sobre varios conceptos / construcciones de M&E / temas emergentes es tremendo

Lo que me llama la atención es que todos discutimos las Teorias del Cambio como si fueran "una cosa"......
Hablar de un "logframe" es fácil, hay un formato estándar para él
Puede ser ligeramente adaptado, pero está bastante claro lo que es, cómo se ve, cómo funciona.

Lo mismo no es cierto para las TdC.  Lo que es una TdC puede ser muy diferente.
Creo que todos podríamos usar la misma palabra, pero teniendo algo muy diferente en mente...

Gracias Svetlana, Silvia y otros por esta interesante conversación. Todos parecemos estar de acuerdo en que el uso de la Teoría del Cambio (TdC) en la conceptualización del programa y también en la evaluación del programa está ganando vigencia. Dado que es un fenómeno bastante reciente, en la última década más o menos, cuando una gran cantidad de programas y organizaciones han comenzado a incorporar TdC en su forma de trabajar, podría ser demasiado pronto para decir qué diferencia ha hecho en estos programas / organizaciones ( ¡No he encontrado un estudio sobre el impacto del uso de la TdC!). En mi opinión, según mi experiencia de trabajo con varios programas y organizaciones, pueden existir tres cohortes sobre cómo se están utilizando los ToC:

1. Las TdC se han arraigado profundamente: esta cohorte usó las TdC en todos los aspectos de la planificación, implementación y seguimiento del programa. Puede aceptar que esta no será una cohorte dominante, digamos alrededor del 10% de programas y organizaciones.

2. La TdC se usa con moderación / ocasionalmente pero de alguna manera útil: es probable que se trate de una cohorte dominante (por ejemplo, 50%), es decir, una gran proporción de programas y organizaciones están usando las TdC con moderación pero de manera algo efectiva. Lo que significa que el diseño del programa incluye la conceptualización de una TdC. La revisión anual adicional y las evaluaciones del programa se basan en la TdC. La TdC también se improvisa constantemente, cada vez que se realiza una revisión o evaluación en esta cohorte. Sin embargo, en esta cohorte, la motivación del uso de la TdC está impulsada externamente y los sistemas de monitoreo del programa no se basan en una TdC, lo que también limita el rigor con el que se pueden realizar revisiones y evaluaciones.

3. La TdC se usa de manera superficial: en esta cohorte, la TdC puede o no existir. Una TdC puede diseñarse como lo exigió algún donante pero no se utilizará posteriormente. Si no hay demanda, puede que no exista una TdC. Sin embargo, la TdC puede desarrollarse cuando se encarga una evaluación, generalmente por un evaluador. El programa u organización aún no conoce ni ve el valor en la TdC y, en consecuencia, no la "posee".

La situación obviamente cambiará en el futuro a medida que más y más agencias y programas comiencen a ganar con el uso de una TdC. La primera y segunda cohorte pueden aumentar por lo tanto. Sin embargo, para acelerar el cambio, supongo que dos estrategias podrían ser útiles:

1. Fortalecer las capacidades para la conceptualización de las teorías de cambio del programa: demostrar la utilidad de las TdC depende de qué tan bien se enmarque una TdC, capturando la lógica del programa y las realidades del contexto. Las capacidades para desarrollar TdC robustas se pueden fortalecer de múltiples maneras, una de las cuales podría ser iniciar una Evaluación de Evaluabilidad de los programas. Las Evaluaciónes de Evaluabilidad tienen potencial para mejorar el diseño del programa y los sistemas de M&E asociados.

2. Sensibilice a los componentes clave sobre la TdC: dado que cualquier cambio en el pensamiento y el trabajo requeriría una "aceptación", obviamente, la forma de trabajo de la TdC requeriría que los componentes clave (donantes, responsables políticos, organizaciones que implementan programas, etc.) comprendan la necesidad de la TdC. En este caso, una comunidad de práctica como Evalforward y otros pueden continuar participando y facilitando conversaciones y demostrar / mostrar cómo el uso de uns TdC puede ayudar a mejorar el diseño del programa y la gestión basada en resultados y también puede haber otros beneficios.

Estimados colegas,

Gracias por sus interesantes ideas, es genial ver un consenso general sobre un papel importante que juegan las Teorias del Cambio en la práctica de evaluación. A lo largo de mi carrera de evaluación, y especialmente más recientemente, he llegado a apreciar el valor añadido de usar la TdC, especialmente si ha sido co-creado y/o deconstruido de manera participativa.

Comparativamente hablando, he encontrado que el enfoque de TdC es particularmente valioso al evaluar temas transversales, como la participación de las partes interesadas locales y la sociedad civil, la gobernanza y el género. Incluso en presencia de documentos, que guíen las intervenciones relacionadas (similares a los sectores), su aplicación efectiva debe tener en cuenta e incorporar el compromiso de la sociedad civil , el género, la rendición de cuentas y la transparencia en la labor de otros sectores, equipos, etc. Por lo tanto, las TdC ayudan a informar las evaluaciones y facilitar la exploración contra el proceso y los resultados previstos, en contra del marco y las modalidades operativas existentes, dentro y fuera de la organización.

En estos dominios transversales y, a veces, también he descubierto que los equipos que se están evaluando con mayor frecuencia aprecian y acogen con beneplácito las discusiones sobre la TdC, incluso y a veces con una apreciación particular de los supuestos. Una vez planteado con preguntas sobre la viabilidad dentro de un entorno propicio (o no), la comprensión de por qué los resultados deseados pueden no haberse logrado se hace real. En consecuencia, después de haber pasado por la reconstrucción de la TdC, es probable que las ambiciones y los objetivos se vuelvan más agudos y más racionalizados la próxima vez.

Cuando recién comenzaba mi carrera en el sector del desarrollo, recibí una extraña solicitud de un donante: ¿puede desarrollar el marco lógico de su programa? De hecho, fue algo extraño preguntar tres meses antes del final de la intervención. En retrospectiva, reconozco que probablemente estaban tratando de cubrir sus huellas después de haber omitido algunos pasos en el proceso de aprobación. En ese momento, con algunas quejas, cumplimos con su solicitud de producir un marco lógico a medio cocer que era plausible, pero que no era útil para nadie. No ayudó con la planificación, la gestión o la evaluación del proyecto. Era solo un requisito formal, una casilla para marcar. Ahora, saltemos 20 años. Me contacta una oficina en el país que solicita ayuda. Su programa principal está llegando a su fin y quieren nuestra ayuda para prepararse para una evaluación. Pido algunos documentos para comprender de qué se trata el programa, pero lo que obtengo son principalmente informes de donantes que muestran la intervención a través de lentes de color rosa. Entonces, sugiero "¡desarrollemos una teoría del cambio!".

No, no estoy loco y no me he convertido en el burócrata que temía hace 20 años (al menos no del todo). Lo que sugiero es que se sienten juntos y que el personal de la oficina en el país me cuente su historia para que podamos reconstruirla y comprender qué hicieron, cómo y por qué. Esto es algo que hacemos habitualmente en la Región de África Oriental y Central del Programa Mundial de Alimentos, donde las teorías de cambio se han convertido en el pan de cada evaluación descentralizada desde 2018. El impulso inicial para desarrollar teorías de cambio provino de la Unidad de Evaluación en la Oficina Regional, donde sentimos que tener una comprensión sólida de cómo funciona el programa, disponible en un formato fácil de compartir, proporcionaría a los evaluadores externos una sólida ventaja. Progresivamente, este ejercicio se volvió más sofisticado y estructurado. Comenzamos a prestar más atención a los supuestos como puntos de estrés donde podemos enfocar las preguntas de evaluación. Hicimos el proceso más inclusivo y participativo, involucrando a actores externos. Agregamos un análisis de árbol de problemas y un mapeo de partes interesadas como pasos propedéuticos antes de diseñar la teoría del cambio. Finalmente, decidimos darle un nombre y optamos por la "evaluación de evaluabilidad", ya que, entre otros propósitos, también la usamos como una herramienta para decidir si una evaluación es deseable y factible.

Hemos realizado varios de estos ejercicios (14-15? Perdí la cuenta ...) y nunca dejamos de aprender y mejorar nuestro enfoque. En un caso, realizamos una Evaluación de Evaluabilidad junto con una oficina en el país donde la administración quedó atrapada en el fuego cruzado entre dos donantes que solicitaron evaluaciones de sus respectivas subvenciones pero no presupuestaron adecuadamente para los ejercicios. Cuando desarrollamos las teorías de cambio de las dos intervenciones, comenzamos a ver los vínculos entre las vías de impacto que no eran visibles simplemente comparando los respectivos marcos lógicos. Las dos subvenciones podrían capturarse fácilmente bajo una teoría integral del cambio que refleja la realidad de la implementación en el terreno donde los programas se fusionan entre sí sin problemas. Luego propusimos realizar una evaluación fusionando las dos líneas presupuestarias para analizar la intervención general, destacando las complementariedades y sinergias. ¿Adivina qué? ¡Funcionó!

Uno de los aspectos hermosos de las teorías de cambio es que no necesitamos desarrollarlas en un momento específico. Las TdC son útiles al principio, en el medio o al final de una intervención. Su uso principal y sus aplicaciones serán ligeramente diferentes, pero nunca es demasiado tarde para desarrollar una. Si lo hace al principio, puede concentrarse más en desarrollar una comprensión compartida de cómo funciona el programa y buscar colaboraciones más activas entre las diferentes capas y componentes del programa. Puede informar el desarrollo de indicadores de monitoreo, ayudar en el seguimiento de riesgos y medidas de mitigación, sin mencionar el diseño de evaluaciones transversales. Desarrollado hacia el final, todavía tiene un valor increíble para informar el diseño de la evaluación y las preguntas clave de evaluación que desea responder.

Una medida del éxito de este enfoque es que ahora recibimos solicitudes de las oficinas de país para que nos ayuden a desarrollar teorías de cambio, incluso cuando no hay una evaluación en sus planes. Ven valor en este ejercicio. Entienden cómo ayuda a formalizar su pensamiento colectivo en una representación visual fácil de comprender. No importa si la solicitud llega antes de que se haya entregado el primer “plato de gachas” o tres meses antes del final del programa, nunca es demasiado temprano o demasiado tarde para diseñar una teoría del cambio.

Estimados colegas,

Gracias por sus contribuciones muy interesantes. Si alguien pudiera contribuir con ejemplos específicos de aplicación de la TdC, ya sea en los países en desarrollo o en los países desarrollados, y destacar cómo esto era útil para el programa que se estaba evaluando, sería genial.

Estimados colegas,

Gracias por sus contribuciones muy interesantes. Si alguien pudiera contribuir con ejemplos específicos de aplicación de la TdC, ya sea en los países en desarrollo o en los países desarrollados, y destacar cómo esto era útil para el programa que se estaba evaluando, sería genial.

Estimados todos,

No puedo estar más de acuerdo con los comentarios de Silvia, y si puedo, me gustaría agregar algunas observaciones.

Creo que sería razonable mantener que el propósito fundamental de la evaluación sería determinar si una acción, un proyecto, por ejemplo, ha logrado contribuir a la calidad de vida de su grupo objetivo.

Esta mejora de la calidad se puede lograr al permitirles satisfacer una o más de sus necesidades fundamentales. La nutrición es una de esas necesidades. Obviamente, su satisfacción depende de la disponibilidad y la asequibilidad de alimentos locales sanos, lo que a su vez depende de la idoneidad del sistema alimentario local. Lo mismo se aplica al conjunto de necesidades asociadas con las otras necesidades fundamentales.

A menudo, la satisfacción adecuada de una necesidad fundamental requiere la satisfacción previa de las necesidades asociadas con la satisfacción de alguna otra necesidad fundamental. Por ejemplo, una nutrición adecuada con frecuencia depende del transporte de alimentos. El transporte se convierte así en una necesidad no solo para una nutrición adecuada, sino también para otras necesidades fundamentales como educación, salud, seguridad, etc.

Por lo tanto, creo que un enfoque empírico holístico para evaluar / asegurar la integridad de un proyecto durante la etapa de planificación sería crítico para el éxito de cualquier acción. Después de todo, emprendemos un proyecto para lograr el cambio deseado, a saber, mejorar la calidad de vida de un grupo de alguna manera. Esto no es teórico, y es eminentemente práctico. Idealmente, debería ser proactivo, pero hoy hay demasiado por debajo de lo normal para pensar en eso.

Se supone que el grupo objetivo se hará cargo de la ejecución y el mantenimiento de un proyecto hasta su finalización hasta cierto punto. No son un aislado, sino una parte de una comunidad más grande. Por lo tanto, es importante determinar si el grupo objetivo y / o la comunidad a la que pertenece pueden continuar con la operación adecuada del proyecto una vez finalizado.

Creo que las variables involucradas aquí son demasiado numerosas para ser tomadas en cuenta por cualquier norma teórica. Incluso después de establecer su impacto ambiental y social con referencia a su resultado y las herramientas que un proyecto propone usar, y la voluntad y la capacidad de una comunidad para usarlos con suficiente habilidad, hay muchos más imponderables que uno tendrá que enfrentar. Estos deben ser examinados en el acto.

¡Los mejores deseos!

Lal.

Recientemente he estado lidiando con un conjunto similar de preguntas, así que gracias, Carlos, por plantearlas. Basándome en mi experiencia en la facilitación de varios talleres de TdC, diría que es un enfoque útil para la evaluación. El valor se realiza principalmente en su proceso, de reunir a participantes de diversas disciplinas y sectores, de cambiar los sistemas de correlación, de identificar áreas donde el programa podría influir en las vías de cambio y de resaltar áreas prioritarias para el monitoreo. Sin embargo, un contexto importante es que muchos de estos participantes nunca antes habían oído hablar de TdC (y no ayuda que TdC no se traduzca bien en diferentes idiomas), por lo que podría atribuirse algún valor a su novedad. De todos modos, aunque otras herramientas de planificación también podrían haber sido apropiadas, considero que las TdC son particularmente útiles para los programas que tienen múltiples componentes interactivos, diversas perspectivas de las partes interesadas e incertidumbre en los resultados, que son característicos de muchas iniciativas de seguridad alimentaria en la actualidad.

De hecho, el uso de la teoría del cambio ha llegado a mejorar las técnicas de planificación y evaluación para proyectos de desarrollo. Nos ha llevado del marco lógico (como herramienta) y de la Gestión basada en resultados (RBM) a la Gestión para resultados de desarrollo (GpRD) y la importancia que ahora se le da a la responsabilidad. La GpRD ahora permite enfocarse principalmente en los efectos e impactos en el bienestar de las poblaciones, en lugar de enfocarse solo en los resultados dentro del marco de la GpRD. El interés ahora es centrarse en los cambios en el bienestar de las poblaciones y establecer la responsabilidad, que es la obligación de dar cuenta del ejercicio de la responsabilidad o el derecho de los beneficiarios de acciones para reclamar y exigir. La mejora en el bienestar de las poblaciones se mide mejor con el uso de la teoría del cambio, de modo que el impacto de los proyectos es mayor y más tangible. El uso de la teoría del cambio obliga y dirige los esfuerzos para responder a la creciente demanda de responsabilidad pública a los ciudadanos, tanto en los países desarrollados como en desarrollo, para que sean informado sobre cómo se usa la ayuda, los resultados alcanzados y la medida en que estos resultados producen los cambios deseados para el desarrollo humano sostenible, en lugar del desarrollo

En mi experiencia, las Teorias del cambio sigue siendo un concepto mítico en la mente de varios profesionales del desarrollo a nivel de campo, primero porque se percibe como una herramienta impulsada por el cumplimiento forzada por donantes y financiadores y, en segundo lugar, generalmente es desarrollado por consultores o tecnócratas con poca participación de personal de ejecución.

El personal de implementación generalmente asume el papel de comprender lo que se requiere para seguir los supuestos de la TdC y rara vez verá la TdC en funcionamiento más allá de estar en el documento de Propuesta de Proyecto. Los equipos de implementación rara vez se refieren a la TdC, tal vez porque puede haber algunas dificultades para incorporar los conceptos de TdC en las operaciones diarias o puede ser demasiado complejo para que el personal de campo participe.

Por lo tanto, veo una desconexión entre el propósito previsto de la TdC para guiar la programación y el impacto y la realización de los mismos en la práctica. Además, existe el enfoque de talla única para la presentación de las TdC, que creo que podría ser otro desafío. Por un lado, queremos que la TdC se ajuste a una página, altamente simplificada y fácil de conceptualizar, casi demasiado simplista para las realidades del mundo real. Pero eso es lo que hace que sea más fácil de digerir y tener sentido, lo cual es excelente para los responsables políticos y audiencias de alto nivel. Sin embargo, para los implementadores, los detalles son muy importantes, pero a menudo simplemente dejamos la TdC en esa presentación agradable y brillante de alto nivel y esperamos que los implementadores trabajen algún tipo de magia para traducir eso en la entrega lógica de intervenciones de acuerdo con los supuestos conceptuales sin las necesarias exploración detallada y desempaquetado de la tabla de contenido. Los donantes no lo solicitan, los implementadores lo necesitan, por lo que a menudo se deja sin hacer y la implementación del proyecto continúa con poca o ninguna referencia a la TdC.

La única vez que la pregunta de TdC será revisada quizás sea cuando la evaluación del proyecto busque probar esos supuestos, suponiendo también que la implementación se guió por esos supuestos, que sabemos que no siempre es el caso.

Estimados miembros,

Estoy contribuyendo a la nueva discusión iniciada por nuestro colega Carlos Tarazona.

Confiando en mi propia experiencia, los marcos lógicos y las cadenas de resultados son herramientas de planificación que pueden ayudar en la fase de formulación de cualquier acción de desarrollo orientada a resultados (o basada en resultados), aunque sea una política, un programa o un proyecto. Sin embargo, estas herramientas requieren la mayor parte del tiempo una gran experiencia técnica para usarlas de una manera bastante profesional y lograr una formulación sólida de una determinada acción de desarrollo. Dicho esto, la mayoría de los profesionales del desarrollo que no tienen ni idea de estas herramientas de planificación y formulación pueden correr el riesgo de no comprender suficientemente el marco lógico o la cadena de resultados de "su" acción de desarrollo.

Aquí viene el uso de "modelos lógicos" o "teorías de cambio", especialmente durante la fase de implementación, y más importante aún durante la fase de evaluación, de una determinada acción de desarrollo. En este caso, los miembros del equipo de implementación se sentarán juntos al comienzo de la fase de implementación para "dibujar" un "modelo lógico" o una "teoría del cambio" para comprender cómo evolucionará la acción de desarrollo en su área de implementación y cómo el "marco lógico" o la "cadena de resultados" de esa acción de desarrollo se desarrollará en realidad en una serie de relaciones de causa-efecto entre sus diferentes elementos, pasando de "recursos / insumos" a "actividades" a "resultados", a "resultados" y luego a "impacto". Dibujar el "modelo lógico" o la "teoría del cambio" de una acción de desarrollo, ya sea expresada en un dibujo o en un texto, ayudará a los profesionales del desarrollo a traducir el "marco lógico" o la "cadena de resultados" de una manera más expresiva y fácil para desvelar y comprender la "estrategia de cambio" de esa acción de desarrollo. Las consecuencias de tal esfuerzo son: (1) una mejor comprensión de la estrategia de implementación de la acción de desarrollo; (2) mucha información para una mejor programación de las actividades de acción para el desarrollo; y (3) la configuración de un sistema sólido de monitoreo y evaluación de esa acción de desarrollo.

Sin embargo, este no es el caso general de que un "modelo lógico" o una "teoría del cambio" esté listo al comienzo de la fase de implantación; algunas acciones de desarrollo han tomado tanto tiempo durante la fase de formulación que la agencia receptora se apresuraría a comenzar la implementación. Y aquí viene la segunda situación del uso de "modelos lógicos" y "teorías de cambio" en la fase de evaluación. Un ejercicio de evaluación sólido para una acción de desarrollo dada ciertamente dependería de un "modelo lógico" o "teoría del cambio" que pueda ayudar a los evaluadores a comprender lo que se suponía que debía hacer esa acción de desarrollo, al menos en la cabeza de las personas que formulan, y comparar con lo que realmente hizo la acción de desarrollo. Si se elaboró ​​un "modelo lógico" o una "teoría del cambio" de una acción de desarrollo al comienzo de la fase de implementación, debe usarse y quizás mejorarse con la condición de que el equipo de implementación lo valide. De lo contrario, la primera tarea de los evaluadores sería elaborar un "modelo lógico" o una "teoría del cambio" para la acción de desarrollo "evaluar y evaluar" a fin de definir las diferentes vías que deberían examinarse durante el ejercicio de evaluación (parámetros , indicadores, datos a recopilar, etc.).

Al final, diría que el debate no debería ser si se debe usar un "marco lógico" o una "cadena de resultados", por un lado, o un "modelo lógico" o una "teoría del cambio"; El debate debe ser sobre el valor agregado mediante el uso de diferentes métodos y técnicas para garantizar una buena implementación y una evaluación sólida de una determinada acción de desarrollo. En resumen, no se trata de ESTO O ESO, sino de ESTE Y ESO.

Espero que esto ayude…

Mustapha

La afluencia de TdC ha visto a no profesionales de la agricultura dominando el panorama de la agricultura, donde las calificaciones y los antecedentes que no están relacionados con la agricultura deciden y controlan la agricultura. Esto es más preocupante en el ámbito de la extensión agrícola y la difusión de tecnología, donde los llamados profesionales simplemente reúnen a las personas para afirmar que se trata de la prestación del servicio de extensión agrícola.

Poseo un profundo conocimiento técnico (calificación agrícola) sacrosanto en la gestión de proyectos, así como en el monitoreo y la evaluación, sin los cuales el proyecto nunca se dará cuenta del impacto potencial completo.

Una pregunta es que en el sector de la agricultura y la seguridad alimentaria de los países desarrollados, así como en la gestión de los recursos naturales, ¿existe una cacofonía de ruidos de ToC como este para llevarlos a donde están y mantenerlos?

Estimados Carlos y Estimados miembros,

Gracias por recibir mi modesta contribución.

¿Cuál es su experiencia con el uso de teorías de cambio?

Acabo de hacer 1 año en la FAO como oficial de monitoreo y evaluación bajo el programa GAFSP Missing Middle Initiative. He aprendido muchas cosas con You@FAO en la capacitación sobre la guía de M&E de la FAO. Creo que la FAO tiene una sólida experiencia en evaluación con muchos casos prácticos. Si no me equivoco, la TdC no es una herramienta muy popular.

En mis experiencias previas como oficial de seguimiento y evaluación, utilizamos la teoria de cambio  para la comunicación del proyecto o programa, pero también para compartir la lógica de intervención del proyecto con las partes interesadas (socios, beneficiarios, etc.) para promover la revisión crítica centrada en los puntos clave del proyecto. Es una herramienta solicitada por varios donantes con diferentes formatos no muy diferentes entre sí, en forma de diagrama o tabla que siempre respeta la misma lógica a corto plazo para resultados directos, a mediano plazo para efectos y a largo plazo para impactos. El propósito esperado sería desarrollar una oración resultante, es decir, la teoría de que en un texto simple explica el proyecto o programa en complejidad.

¿Cuáles son el principal valor agregado de estas teorías, desde su propria perspectiva?

En la FAO, descubrí en los documentos del proyecto, la atención se centró más en los marcos lógicos y los marcos de resultados, que también son herramientas tan relevantes como la TdC pero muy complejas para la comunicación. La TdC puede ser una herramienta que englobe estas otras dos herramientas al tiempo que permite una lectura sobre la lógica de intervención y la relevancia de las actividades o acciones que se llevarán a cabo. La TdC rastrea la respuesta de los problemas a las resoluciones. Si se trata de un programa, la TdC es la mejor herramienta para definir una visión, pero también para planificar una ampliación participativa.

Como parte de GAFSP MMI Senegal, tomé la iniciativa inspirándome en la TdC global de GAFSP MMI para definir una TdC específica de proyecto que se alinee con este programa global mientras me registre en el PNUD (Programa de las Naciones Unidas para el Desarrollo) y CPP 2019-2023. En forma de tabla, la herramienta había facilitado la lectura de la intervención y también condujo a una revisión del marco lógico con la integración de nuevos resultados que tienen en cuenta la dimensión de género. Compartida con los socios, en una sola oración, armonizamos nuestra comprensión de la lógica de intervención del proyecto. Esta herramienta también condujo al desarrollo de una guía de M&E que toma en cuenta todas las dimensiones de resultados del proyecto.

En mi humilde opinión, creo que la FAO necesita definir una teoría de cambio de hambre cero (si no existe). Esta teoría se inspirará en las representaciones para definir las teorías de sus programas de país y, finalmente, estas teorías de programas de país se inspirarán en las teorías de cambio específicas de cada proyecto en la representación. Este trabajo ayudará a mejorar la lógica de intervención y facilitará enormemente las evaluaciones a todos los niveles. Al igual que FPMIS para el monitoreo del presupuesto, dicho portal podría desarrollarse para rastrear los cambios. Todos los programas y proyectos se pueden incluir en este portal con una alineación de los resultados esperados y los cambios esperados a los cambios que definen el hambre cero en su globalidad.

Depende de qué es una teoría del cambio y cómo se ha generado / compartido.

Si sigue siendo el mismo que un gran marco lógico, oculto en algunas propuestas ... no agrega mucho valor.

Si es cogenerado y de propiedad ... posiblemente EMERGENTE del proceso de cambio, entonces es un valor agregado.

Como evaluadora, veo que el personal sobre el terreno acoge con beneplácito las discusiones a nivel de la teoría del cambio cuando ayudan a sistematizar la experiencia.

Pero podrían no tener idea y confundirlos como anexos de la propuesta.

Entonces, si la Teoría del Cambio es solo burocracia, en realidad es una complicación.

Si es un proceso de sistematización de la experiencia, propiedad de los involucrados en hacer el cambio, es muy útil.

Lamentablemente, estos últimos son muy raros.