John [user:field_middlename] Hoven

John Hoven

independent
Estados Unidos de América

Process tracing (a leading method of qualitative causal inference) is designed to investigate cause-and-effect in one-of-a-kind situations where unknown unknowns are important factors. My personal focus is applying this to design, implement, and evaluate development and peacebuilding projects.

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion
    • Los métodos cualitativos suelen ser descriptivos. ¿Ha utilizado alguien la inferencia causal cualitativa?

      El objetivo de la inferencia causal cualitativa es demostrar la relación causa-efecto, ya sea mirando al pasado o al futuro. Tengo la sensación de que este enfoque se basa en gran medida en entrevistas no guionizadas, en las que las cuestiones no descubiertas se revelan mediante preguntas de seguimiento. (¿Qué quiere decir? ¿Puede poner un ejemplo?)

  • Reporting and supporting evaluation use and influence

    Discussion
    • Olivier Cossee dice que "los evaluadores deben proponer soluciones razonables a los problemas que plantean... lo difícil es proponer algo mejor, de forma constructiva".

      Una solución razonable es, al menos implícitamente, una Teoría del Cambio. Debe ser explícita: un objetivo tentativo, un primer paso hacia el objetivo y algunos pasos intermedios. La parte más difícil es ese primer paso. Dar ese primer paso debe responder a la pregunta: "¿Podría valer la pena considerar esto?".

      John Hoven

    • Estimados todos,

      Permítanme cerrar este tema de discusión con algunas reflexiones sobre: ¿Qué hemos aprendido? ¿Qué deberíamos aprender a continuación?

      Dos cosas que hemos aprendido son:

      1. Los proyectos a gran escala pueden adaptarse a los deseos y capacidades locales. El CGIAR lo hace, para garantizar que los agricultores adopten su investigación agrícola.

      2. Una TdC en evolución puede hacerse sin apenas dinero ni conocimientos. (Véase el anexo.) Esto permite a los lugareños ser socios de pleno derecho en un proyecto de desarrollo a nivel de pueblo. 

      Tres cosas que hay que aprender a continuación:

      1. Los donantes pueden ofrecer contratos que no especifiquen acciones, resultados o indicadores de éxito. (Véase Grandori et al. y Reuer.) Esto eliminaría un importante obstáculo para el aprendizaje local. Las empresas hacen esto cuando contratan la innovación, porque las acciones y los resultados deseados no se conocen cuando se firma el contrato.

      2. Las TdC anidadas permiten ampliarlas para ver más detalles, como los mapas de Internet. Las TdC anidadas se refieren a un pueblo, un mercado de productos o un grupo social concreto. Evolucionan rápidamente durante el inicio de un proyecto (cada semana o dos, no cada 6 meses o un año). Aléjese para ver una TdC con menos detalles (los actores son categorías en lugar de grupos con nombre). Esta categória de TdC puede convertirse en una primera aproximación a la TdC de un nuevo proyecto (por ejemplo, la figura 2, página 5 de la evaluación del desarrollo impulsado por la comunidad realizada por el FIDA).

      3. Una TdC en evolución se revisa cuando las pruebas refutan fuertemente un paso en la cadena de causa y efecto, o se confirma cuando las pruebas validan fuertemente el paso. Esa prueba evidencial proporciona la responsabilidad que los donantes exigen.

      Gracias a todos por sus contribuciones. Por favor, no duden en enviarme un correo electrónico con sus ideas adicionales.

      John Hoven

      jhoven@gmail.com

    • Parece que tanto a nivel individual como organizativo se intenta asegurar que la TdC no esté "grabada en piedra" como mencionó Jackie Yptong, y que hay algunos buenos ejemplos de uso de la TdC para el aprendizaje como en el CGIAR. 

      Les agradezco a todos sus contribuciones y la descripción de cómo usted o su organización utilizan la TdC.

      Me gustaría ir un poco más allá y preguntaros si conocéis a actores/donantes que estén dispuestos a iniciar proyectos a nivel local sin suposiciones y a desarrollar una TdC a medida que desarrollan su comprensión de lo que se necesita sobre el terreno. 

      En este caso, el proyecto no comenzaría con productos predefinidos, sino sólo con un resultado general/amplio, sin que se hayan definido aún las vías causales para alcanzarlo. 

      A continuación, mis comentarios a Erdoo y Janvier y las preguntas de seguimiento para su consideración.

      Erdoo Karen Jay-Yina dice que los programas de investigación agrícola del CGIAR están aprendiendo a utilizar las Teorías del Cambio de forma más eficaz. Sus TdC se centran en "los mecanismos de cambio por los que el nuevo producto agrícola es adoptado por el agricultor". ¿Pueden los agricultores utilizar las nuevas tecnologías? ¿Quieren hacerlo? Las TdC deben identificar los mecanismos de cambio basándose en pruebas e hipótesis comprobables. Los agricultores interesados deben participar desde el principio de la investigación". (ISPC 2012 pp. 14, 23, 7, 25) Erdoo dice: "Cuando la TdC subyacente y las pruebas se revisan, capturan y rastrean de forma coherente, entonces se facilita el rastreo del proceso o el análisis de la contribución de determinadas vías causales."

      Mis preguntas de seguimiento para Erdoo:

      ¿Utiliza el GCIAI el rastreo de procesos para hacer predicciones basadas en pruebas? ¿Ha encontrado a otros miembros de la comunidad de desarrollo/construcción de la paz que utilicen la TdC como herramienta de aprendizaje?

      Janvier Mwitrehe cita dos revisiones del uso de la TdC por parte de USAID. En Tanzania, "USAID/Tanzania no previó la necesidad de revisar la Teoría del Cambio fundacional. Sin embargo, después de su segundo año, quedó claro que la Teoría del Cambio original y la realidad de la implementación no estaban alineadas. Algunas de las actividades no eran ejecutables, debido a los cambios en el contexto local. La Teoría del Cambio original era una restricción vinculante para la implementación exitosa de la Actividad". Una revisión en 2019 de la TdC como herramienta de gestión adaptativa confirma el uso de la TdC por parte de USAID como restricción contractual vinculante: "El propósito principal de una revisión de la COT es asegurar la alineación de la COT con los objetivos que se pretenden abordar. Entre los factores que podrían motivar una revisión especial de una teoría del cambio se encuentran el hecho de no influir en el resultado del siguiente nivel como se esperaba, vías causales previamente desconocidas y cambios significativos en las condiciones políticas o ambientales del contexto local".

      Creo que estos dos ejemplos demuestran que para USAID, una TdC es una restricción contractual vinculante más que una herramienta de aprendizaje. Mi nueva pregunta de seguimiento es la siguiente: Janvier, ¿conoces algún debate dentro de USAID sobre la necesidad de adaptarse al contexto local, en lugar de sólo adaptarse a los cambios del contexto?

      John Hoven

    • Lo que más me gusta de este foro es que hace aflorar un amplio abanico de perspectivas. Permítanme resumirlo brevemente y sugerir un camino a seguir en cada perspectiva.

      La cuestión es utilizar una teoría del cambio dinámica y basada en evidencias para para diseñar un proyecto adaptado a su entorno local.

      Jean Providence Nzabonimpa ofreció algunas razones de peso para adoptar el concepto: "Hay importantes factores que se desconocen en la fase de diseño de las intervenciones de desarrollo... Mantener la TdC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y su cadena lógica se conocen de antemano y permanecen constantes. Esto rara vez es así... Supongamos que X productos conducen a Y resultados. Más tarde se descubre que los factores A y B también contribuyen, y de forma más significativa, a Y... Un proyecto que descubre nuevas pruebas debe incorporarlas al viaje de aprendizaje".

      Pregunta de seguimiento para Jean Providence: ¿Puede describir un proyecto concreto que ilustre su punto de vista? ¿Conoce a alguien que pueda utilizar una TdC basada en pruebas y en evolución para diseñar un proyecto localizado?

      Serdar Bayryyev destaca los proyectos de "desarrollo impulsado por la comunidad", que se centran en el capital social y la capacitación. En un estudio de casos de estos proyectos se utilizó una teoría del cambio basada en el supuesto de que un proceso de ejecución participativo apoya los procesos de desarrollo centrados en las personas.

      Pregunta de seguimiento para Serdar: ¿Has visto algún proyecto de desarrollo impulsado por la comunidad que haya utilizado una TdC evolutiva y basada en pruebas para diseñar un proyecto localizado? ¿Conoce a alguien que pueda intentarlo?

      Janvier Mwitirehe dice que "operamos en un entorno que evoluciona rápidamente y que hay que tener en cuenta". Esto puede hacerse a través del marco de "colaboración, aprendizaje y adaptación" (CLA) de USAID, que dice que "los supuestos críticos centrales de una TdC deben probarse periódicamente, lo cual es una característica central de la planificación basada en supuestos".

      Pregunta de seguimiento para Janvier: Supongamos que el entorno de un proyecto no se conoce bien, pero no evoluciona rápidamente durante los primeros 6 meses en que el personal del proyecto interactúa con la población local. ¿Ayudará el marco CLA a que el personal del proyecto diseñe una TdC basada en pruebas locales y no en suposiciones? ¿Es USAID receptiva a la utilización de una TdC basada en pruebas y en evolución para diseñar un proyecto localizado?

      Carlos Tarazona, Oficial Superior de Evaluación de la FAO, dice que "En la Oficina de Evaluación de la FAO hemos utilizado la Teoría del Cambio (TdC) ... sólo con fines de evaluación".

      Pregunta de seguimiento para Carlos: ¿Ha visto una TdC basada en la evidencia y en evolución utilizada para la evaluación en tiempo real? Si alguien quisiera utilizar una TdC evolutiva basada en la evidencia para diseñar un proyecto localizado, ¿podría obtener asesoramiento útil de un experto en evaluación en tiempo real?

       

      John Hoven