¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!
Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.
Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?
Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.
Con lo anterior, un proyecto localizado sería un proyecto con todos los colores locales. Con diferentes tamaños y formas, todos entrando a jugar en el lugar que les corresponde. Esto no significa ser demasiado ambicioso (demasiados colores pueden desdibujar la visión, es una broma pero no importa, ¡yo uso gafas!). Un proyecto que descubre nuevas evidencias debe incorporarlas en el viaje de aprendizaje. Un proyecto de este tipo tiene más probabilidades de lograr los resultados deseados. En vista de la evolución del contexto en el tiempo, un proyecto con una TdC estática es más probable que se vuelva irrelevante con el tiempo.
En mi opinión, una TdC debe ser dinámica o flexible en contextos complejos y en evolución temporal. ¿Existe algún contexto de desarrollo que pueda ser totalmente estático durante un tiempo? Supongo que no. Esto me recuerda las teorías de sistemas y las teorías de complejidad sin las cuales caeríamos fácilmente en la trampa de la linealidad. En mi opinión, no hay ningún perjuicio en empezar con suposiciones, pero cuando surjan pruebas, deberíamos ser capaces de incorporar nuevas pruebas en la teoría de la aplicación y la teoría de los programas que, si se combinan, pueden constituir la TdC completa para las intervenciones de desarrollo. Ya no se miran los proyectos en silos (¡supongo que hemos visto la coherencia como un nuevo criterio de evaluación del CAD de la OCDE!). En mi opinión, es necesario comprender el cuadro completo (es decir, conocimientos actuales + futuros) para beneficiar a la parte (es decir, sólo los conocimientos actuales). Pero la comprensión de la parte individual es menos probable que beneficie al conjunto.
Los desafíos con la evolución de la TdC están relacionados con las evaluaciones de impacto, en su mayoría ensayos de control aleatorios. Con la evolución de la TdC, los componentes de los ensayos de control aleatorios o los brazos de estudio se volverán borrosos y la contaminación incontrolable. En la jerga estadística, la varianza inexplicable será mayor de lo necesario. Mientras que hay laboratorios para las ciencias naturales y físicas, creo que hay pocos, si es que hay alguno, laboratorios confiables de ciencias sociales y del comportamiento. El beneficio de saber cómo navegar por las TdC complejas es que uno puede aprender las lecciones apropiadas y generar evidencia menos cuestionable sobre el impacto de los proyectos de desarrollo.
Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.
Quisiera terminar con una cita:
"Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020
Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.
Una vez más, gracias John y colegas por traer y discutir este importante tema.
RE: Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?
Estimado John,
¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!
Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.
Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?
Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.
Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.
Quisiera terminar con una cita:
"Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020
Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.
Una vez más, gracias John y colegas por traer y discutir este importante tema.
Manténganse bien y seguros.
Jean Providence