Muchas gracias por su participación e interacción en esta discusión. Comparto unos breves comentarios sobre las contribuciones más recientes:
Nea-Mari, gracias por la información y los enlaces sobre el SyE finlandés de los ODS a nivel subnacional. ¡Son ejemplos inspiradores para otros países y ciudades! Esosa, muchas gracias por destacar el papel fundamental de la evaluación en los programas de desarrollo basados en evidencias. Mark, coincido contigo en que reconocer las limitaciones de nuestros estudios/evaluaciones es siempre una buena práctica. Gracias por poner de relieve esta reflexión.
Esta discusión llega a su fin, pero habrá más oportunidades en el futuro para seguir compartiendo ideas y conocimientos sobre el apoyo a los avances hacia el cumplimiento de los ODS por medio de la evaluación.
Les deseo a todos lo mejor. Estén atentos a futuras actualizaciones.
Comento algunas cuestiones, no con la intención de agotar la conversación (¡ni tampoco de resumirla!), sino con la esperanza de inducir alguna reflexión adicional.
1. No nos deberíamos limitar a medir la contribución/los progresos hacia el cumplimiento de los Objetivos de Desarrollo Sostenible (ODS). Existen diversos estudios/evaluaciones e indicadores específicos (incluidos indicadores indirectos) que contribuyen también a conocer los avances en materia de desarrollo. Los ODS no son algo aislado y puede haber varias vías y caminos que lleven a un mismo lugar. Dorothy y John Akwetey expusieron este asunto, aunque también se aborda en otras contribuciones. Asimismo, pusieron de relieve la importancia de las evaluaciones a nivel nacional, institucional y subnacional, más allá de las evaluaciones a gran escala de los ODS.
El enfoque utilizado por el estudio sobre evidencias evaluativas compartido por Mark Engelbert —que utilizó las evaluaciones de impacto como elemento fundamental— parece abordar esta cuestión.
En la misma línea, cabría mencionar también la labor que está desarrollando la Coalición mundial para la síntesis de evidencias evaluativas sobre los ODS. La síntesis se puede utilizar como alternativa a una evaluación centrada en los ODS, o como parte de un estudio más amplio. Las síntesis siguen un enfoque sistemático y transparente para identificar, recopilar y evaluar la calidad de evaluaciones individuales. Y, posteriormente, sintetizar las conclusiones y lecciones extraídas de los conjuntos de evidencias evaluativas. El enfoque incluye mapas de carencias de evidencias y otras herramientas, incluido un proceso riguroso (y su marco correspondiente) para incluir/excluir estudios.
2. Los desafíos para evaluar los ODS a los que se enfrentan la mayoría de países y actores del desarrollo —y que Ram Khanal Lovemore Mupeta y Hadera Gebru comparten con diferentes enfoques— incluyen recursos limitados, datos insuficientes, falta de técnicas de evaluación adecuadas y metas complejas interrelacionadas. En vista de estos desafíos, deberíamos: i) considerar/buscar otros enfoques (la síntesis es uno de ellos), en lugar de realizar evaluaciones que pueden ser desalentadoras; ii) empezar poco a poco; y iii) planificar acertadamente estudios que puedan ser útiles. La participación en el proceso de profesionales nacionales (evaluadores y encargados de la ejecución, de diferentes sectores) podría contribuir a concienciar a la población y crear capacidad evaluativa.
Desafortunadamente, los grandes disturbios y desafíos políticos pueden dar al traste con cualquier intento de evaluar los progresos hacia el cumplimiento de los ODS. Un ejemplo de esto es la situación en Etiopía, donde las crisis posteriores a la pandemia de la enfermedad por coronavirus (COVID-19) y la guerra civil han socavado todos los avances en materia de desarrollo.
3. El nivel subnacional (en particular el nivel local) es otro desafío reconocido, mencionado en muchas contribuciones. Nea-Mari, tengo curiosidad por conocer algún ejemplo de lo que ha estado haciendo Finlandia a nivel local: ¿qué tipos de soluciones digitales habéis adoptado para el seguimiento y evaluación (SyE) de los avances hacia el cumplimiento de los ODS? También me sorprende positivamente la influencia de la evaluación en las elecciones parlamentarias y la planificación del nuevo programa de gobierno. Nea-Mari, ¿cuáles dirías que son los elementos fundamentales que hacen que la evaluación sea tan poderosa en Finlandia?
4. Ejemplos de informes. Pelagia Monou, Fabandian Fofana: me pregunto si los informes de las evaluaciones en las que habéis participado son públicos y podríais compartir los enlaces con nosotros. Pelagia, ¿pudisteis ir más allá del número de proyectos y presupuesto para aprovechar las contribuciones/resultados? Fabandian, ¿medisteis las contribuciones a los ODS a nivel local? ¿Quién participó y de qué manera?
5. Y, por último, aunque no por ello menos importante, una especie de nota al margen sobre un hallazgo del informe de la Iniciativa internacional para la evaluación del impacto (3ie), compartido por Mark: se ha descuidado la labor de evaluación sobre los ODS relacionados con el planeta (ODS 6, ODS 12, ODS 13, ODS 14 y ODS 15). El informe sostiene que se han realizado muy pocas evaluaciones de impacto del ODS 12 (Producción y consumo responsables), el ODS 14 (Vida submarina) y el ODS 15 (Vida de ecosistemas terrestres). Aunque tengo mi propia hipótesis para justificar este hallazgo, me pregunto si Stefano D'Errico, Ram Khanal y otros colegas con experiencia en el sector medioambiental querrían compartir alguna explicación😊.
Aún queda mucho camino por recorrer: ¡Chris, Olivier y Lal nos recuerdan lo poco que queda para el marco posterior a la Agenda 2030!
Por favor, tengan paciencia conmigo mientras comparto contenido académico con el fin de ampliar un poco la discusión.
En definitiva, ¿qué son los métodos mixtos? Creo que el debate entre métodos cualitativos y cuantitativos es bastante reduccionista. Y, sinceramente, no puedo creer que aún estemos discutiendo si los ensayos controlados aleatorios son el estándar de referencia.
Me gustaría compartir un enfoque que me llamó la atención. Del profesor Paul Shaffer, de la Universidad de Trent (Canadá), se centra en el uso de métodos mixtos para la evaluación de impacto, pero entiendo que puede extrapolarse a otros tipos de estudios, como la evaluación de resultados. Lo que me gusta de su propuesta es que va más allá del debate entre métodos cuantitativos y cualitativos.
En su opinión, las categorías que supuestamente diferencian los enfoques cuantitativos y cualitativos se están diluyendo. Por ejemplo: (a) en muchas ocasiones los datos cualitativos se cuantifican; (b) los grandes estudios cualitativos permiten la generalización (si bien se trata de una característica de los estudios cuantitativos); y (c) casi siempre recurren a dos modos de inferencia: la inducción y la deducción.
En vista de lo anterior, ¿qué son los “métodos mixtos”?
Una combinación de enfoques que puedan aportar solidez a un diseño, diferentes perspectivas para analizar una misma cuestión. En función de las preguntas que se deseen responder o probar, los “métodos mixtos” para la evaluación de impacto podrían consistir en la conjunción de dos o más métodos cuantitativos. Por tanto, se podrían utilizar diferentes métodos cualitativos para mejorar la solidez de una evaluación/investigación. A esta combinación también se la denominaría “métodos mixtos”.
Y yendo un poco más allá, ¿no podríamos considerar la combinación de enfoques “colonizadores” con enfoques “indígenas” como “métodos mixtos” también?
Espero que esta aportación pueda contribuir a la reflexión.
Gracias por todas las respuestas y las interesantes y perspicaces contribuciones.
Lo que me motivó a escribir este post fue la impresión de que la mayoría de las lecciones aprendidas identificadas en los informes de evaluación o no son lecciones o están mal formuladas y rara vez se utilizan; en otras palabras, los evaluadores están generando (¿pero lo estamos haciendo?) conocimientos que en realidad no sirven para nada. Además, tuve la impresión de que detrás de este problema estaba la falta de una comprensión compartida del concepto y de los procesos para identificar y captar estos tipos específicos de pruebas.
Entonces, ¿cómo identificar las lecciones aprendidas reales y útiles?
Intentaré resumir los puntos clave planteados:
1. La diversidad de respuestas deja claro que, como evaluadores, aún no tenemos una comprensión compartida de lo que son las lecciones aprendidas. Muchas veces, las lecciones parecen estar ahí sólo para marcar una casilla en los requisitos de los informes.
2. ¿Cuáles son los elementos clave de las lecciones? Las lecciones deben:
- formularse sobre la base de la experiencia y las pruebas, y sobre el cambio que afecta a la vida de las personas;
- ser observables (o haber sido observadas);
- reflejar la perspectiva de diferentes partes interesadas (por tanto, observadas desde diferentes ángulos);
- reflejar los retos a los que se enfrentan las partes interesadas en diferentes posiciones (es decir, ¡también los donantes pueden tener algo que aprender!);
- ser algo nuevo [que represente] un valioso conocimiento y/o forma de hacer las cosas;
-reflejar lo que salió bien y también lo que no salió bien;
- poder mejorar la intervención;
- ser específicos y procesables (a la vez que adaptables al contexto) para que puedan ponerse en práctica.
Me gusta mucho el enfoque de ALNAP que sintetiza las lecciones que deben aprenderse. Desde mi punto de vista, una lección sólo se aprende realmente si la próxima vez se hace de forma diferente. De lo contrario, ¡todavía no está aprendida! Por eso tiendo a llamar simplemente "lecciones" a las que identificamos durante las evaluaciones.
3. ¿Cómo recopilamos las lecciones aprendidas? El proceso de recopilación debe
- ser sistemático y resultar de consultas con las diferentes partes interesadas;
- incluir qué (contenido), para quién (partes interesadas) y cómo (¡contexto!);
- tener claro quién es el público destinatario (por ejemplo, personal operativo, personal implicado en operaciones estratégicas, responsables políticos, etc.)
- tener en cuenta la dinámica de poder (donantes, ejecutores, beneficiarios, etc.)
- considerar las consecuencias prácticas (por ejemplo, ¿es posible adaptarse?);
- incluir sistemas operativos/mecanismos de retroalimentación para garantizar que las conclusiones se debatan y apliquen cuando así se acuerde;
- equilibrar el rigor y el sentido práctico.
4. Mi última pregunta era: ¿cómo garantizamos (intentamos) que se "aprendan" realmente las lecciones, es decir, que se utilicen, que se pongan en práctica? (aquí utilizo el interesante concepto de ALNAP, según el cual las lecciones se formulan para ser aprendidas). Algunos consejos compartidos fueron:
-asociar estrategias para poner en práctica, incluyendo incentivos;
- las lecciones deben informar o estar alineadas con las recomendaciones;
- las recomendaciones deben reflejarse en la respuesta de la "dirección"; y
- la dirección debe ser responsable de la aplicación.
Es bueno ver que otras organizaciones y colegas están interesados y que hay algunos recursos disponibles. Espero que esto pueda ayudarnos a mejorar nuestras prácticas. A continuación he recopilado los enfoques y herramientas recomendados, y los ejemplos y recursos compartidos.
Muchas gracias.
Un cordial saludo,
Emilia
***
Enfoques o herramientas recomendados como eficaces para captar y procesar las lecciones aprendidas (la mayoría en inglés)
Recogida de resultados (OH),
Revisiones posteriores a la acción (AAR) y/o
Análisis de perspectivas (AP)
El enfoque de ALNAP (que incluye la revisión bibliográfica, la revisión de la junta de expertos y la evaluación de la frecuencia, la calidad y la pertinencia); puede encontrarse más información sobre la metodología aquí (documento centrado en los retos de las catástrofes relacionadas con el clima: https://www.alnap.org/help-library/annex-alnap-lessons-paper-adapting-h…).
Recursos y ejemplos compartidos:
Documento de estudio de la oficina de evaluación del PNUMA: "Lecciones aprendidas de la evaluación: A Platform for Sharing Knowledge", del que es coautora Catrina (2007) (enlace aquí)
El informe de evaluación del "Projet de prestation de services participatifs de la Tunisie pour la reintegration" elaborado para la Union Tunisienne de Solidarité Social con un buen ejemplo de captación de lecciones aprendidas (en francés): booklet utss.pdf (evalforward.org) . Encontrará las lecciones aprendidas a partir de la página 38.
Un ejemplo de lecciones aprendidas extraídas de una evaluación sobre igualdad de género Exemple sur leçons apprises d'une évaluation.docx (live.com)
ABC de la COVID-19. Prevención, Vigilancia y Atención de la Salud en las Comunidades Indígenas y Afromexicanas. (Bertha Dimas Huacuz. INPI. 2020), accesible en la página del Instituto Nacional de Pueblos Indígenas (INPI-MX): https://lnkd.in/gpv3wgu (portada del libro)/ https://lnkd.in/gG5wpVE (texto del libro). Consolida lecciones derivadas de la pandemia para el desarrollo de regiones y municipios, recopiladas de diversas iniciativas de desarrollo comunitario en México - recurso en español.
Estudio cualitativo sobre tres temas diferentes tras el terremoto de 2015 en Nepal, dirigido por World Vision International en Nepal en colaboración con 7 agencias internacionales diferentes que trabajan en la respuesta al terremoto. Informe de la Iniciativa de Aprendizaje Colectivo DEC, Nepal.pdf
Muchas gracias por vuestros interesantes comentarios, ideas y recursos.
Repasando todos los comentarios y recursos proporcionados, tengo otra pregunta:
Asumiendo que (i) estamos captando lecciones reales, (ii) basadas en la experiencia/evidencia, (iii) procesables, que (iv) reflejan una diversidad de perspectivas y (v) son aplicables en otros contextos (algunas de las características de las lecciones que extraigo de vuestras contribuciones), ¿cómo podemos (intentar) garantizar que serán realmente "aprendidas"? (utilizo aquí el interesante concepto de ALNAP aportado por Jennifer Doherty, según el cual las lecciones se formulan PARA SER APRENDIDAS).
En otras palabras, ¿cuáles son las estrategias que funcionan para apoyar la puesta en práctica de las lecciones?
Redacté este mensaje hace unos días, pero no pude enviarlo. Sin embargo, creo que compartirlo ahora —después de que nuestro colega Daniel haya solicitado experiencias concretas— es muy oportuno. Así pues, a continuación enumero algunas enseñanzas de mi experiencia personal.
Las aprendí cuando trabajé hace unos años como consultora independiente en el norte de Uganda con comunidades de refugiados, en su mayoría de Sudán del Sur. Una labor intensa que consistió en elaborar y realizar una encuesta.
[Por ponerles un poco en contexto, la comunidad participó en todas las etapas del proceso: desde el diseño/prueba de la encuesta, hasta la traducción a cuatro idiomas diferentes (llevada a cabo por miembros de la comunidad), la selección y capacitación de encuestadores no profesionales (también miembros de la comunidad), la realización de la propia encuesta o la formulación de comentarios/análisis participativo].
1. Todos tenemos nuestra cultura. Y ésta es también “una cultura”. Para los demás, nosotros somos los raros. En particular, me “descubrí” como latinoamericana durante los cuatro meses que estuve en Uganda (Nota: los brasileños no nos identificamos realmente con los estereotipos latinoamericanos, ni tampoco con la etiqueta de “latinos”, aunque se nos considere como tales y verdaderamente tengamos muchas cosas en común a nivel cultural. Tengan también en cuenta que, aunque sea latinoamericana y haya pasado la mayor parte de mi vida en Brasil, soy una mujer blanca de clase media, que ha podido estudiar en la universidad y con una cultura muy parecida a la occidental/europea. Éste es mi perfil y así es como la gente me percibe).
2. Estén preparados para reconocer que han cometido un error y actuar en caso necesario. En una ocasión —tras una reunión muy complicada y en un contexto de mucho estrés y premura de tiempo— sentí la necesidad de ir a la casa de cada uno de los miembros de mi equipo (unos 12 en total) y mantener una conversación individual con todos ellos. Todo se solucionó, pero empleé mucha energía en mantener el rumbo y la confianza, generada durante semanas de trabajo y dedicación intensa.
3. Sean abiertos (¡sean curiosos!), pacientes y siempre respetuosos. No dejen de estar en contacto con la realidad. Las conversaciones con mi conductor me ayudaron a entender la cultura en la que estaba inmersa. Y, si es necesario y están inmersos en situaciones culturalmente complicadas, cójanse uno o dos días libres para darse un respiro. Y hablen con colegas experimentados. Es mejor desconectar un par de días que tener que arreglar las cosas después.
4. Y una enseñanza que me dio muy buenos resultados: tengan presente el código de vestimenta y respétenlo. Las mujeres estuvieron dispuestas a recibirme en sus casas y hablar conmigo porque me vestí de forma respetuosa. Me dijeron —literalmente— que agradecían que no llevara pantalones, sino faldas más largas y blusas modestas. (Creo que con ésta y otras actitudes demostré respeto y generé confianza. Tras una discusión con un grupo de debate, las mujeres cantaron para mí y me “bautizaron” con un nombre en su idioma).
Espero que estas enseñanzas contribuyan a que la discusión sea un poco más concreta.
Emilia Bretan
Evaluation Manager FAOEstimados colegas,
Muchas gracias por su participación e interacción en esta discusión. Comparto unos breves comentarios sobre las contribuciones más recientes:
Nea-Mari, gracias por la información y los enlaces sobre el SyE finlandés de los ODS a nivel subnacional. ¡Son ejemplos inspiradores para otros países y ciudades! Esosa, muchas gracias por destacar el papel fundamental de la evaluación en los programas de desarrollo basados en evidencias. Mark, coincido contigo en que reconocer las limitaciones de nuestros estudios/evaluaciones es siempre una buena práctica. Gracias por poner de relieve esta reflexión.
Esta discusión llega a su fin, pero habrá más oportunidades en el futuro para seguir compartiendo ideas y conocimientos sobre el apoyo a los avances hacia el cumplimiento de los ODS por medio de la evaluación.
Les deseo a todos lo mejor. Estén atentos a futuras actualizaciones.
Emilia
Emilia Bretan
Evaluation Manager FAOEstimados colegas,
Gracias por contribuir a esta animada discusión.
Comento algunas cuestiones, no con la intención de agotar la conversación (¡ni tampoco de resumirla!), sino con la esperanza de inducir alguna reflexión adicional.
1. No nos deberíamos limitar a medir la contribución/los progresos hacia el cumplimiento de los Objetivos de Desarrollo Sostenible (ODS). Existen diversos estudios/evaluaciones e indicadores específicos (incluidos indicadores indirectos) que contribuyen también a conocer los avances en materia de desarrollo. Los ODS no son algo aislado y puede haber varias vías y caminos que lleven a un mismo lugar. Dorothy y John Akwetey expusieron este asunto, aunque también se aborda en otras contribuciones. Asimismo, pusieron de relieve la importancia de las evaluaciones a nivel nacional, institucional y subnacional, más allá de las evaluaciones a gran escala de los ODS.
El enfoque utilizado por el estudio sobre evidencias evaluativas compartido por Mark Engelbert —que utilizó las evaluaciones de impacto como elemento fundamental— parece abordar esta cuestión.
En la misma línea, cabría mencionar también la labor que está desarrollando la Coalición mundial para la síntesis de evidencias evaluativas sobre los ODS. La síntesis se puede utilizar como alternativa a una evaluación centrada en los ODS, o como parte de un estudio más amplio. Las síntesis siguen un enfoque sistemático y transparente para identificar, recopilar y evaluar la calidad de evaluaciones individuales. Y, posteriormente, sintetizar las conclusiones y lecciones extraídas de los conjuntos de evidencias evaluativas. El enfoque incluye mapas de carencias de evidencias y otras herramientas, incluido un proceso riguroso (y su marco correspondiente) para incluir/excluir estudios.
2. Los desafíos para evaluar los ODS a los que se enfrentan la mayoría de países y actores del desarrollo —y que Ram Khanal Lovemore Mupeta y Hadera Gebru comparten con diferentes enfoques— incluyen recursos limitados, datos insuficientes, falta de técnicas de evaluación adecuadas y metas complejas interrelacionadas. En vista de estos desafíos, deberíamos: i) considerar/buscar otros enfoques (la síntesis es uno de ellos), en lugar de realizar evaluaciones que pueden ser desalentadoras; ii) empezar poco a poco; y iii) planificar acertadamente estudios que puedan ser útiles. La participación en el proceso de profesionales nacionales (evaluadores y encargados de la ejecución, de diferentes sectores) podría contribuir a concienciar a la población y crear capacidad evaluativa.
Desafortunadamente, los grandes disturbios y desafíos políticos pueden dar al traste con cualquier intento de evaluar los progresos hacia el cumplimiento de los ODS. Un ejemplo de esto es la situación en Etiopía, donde las crisis posteriores a la pandemia de la enfermedad por coronavirus (COVID-19) y la guerra civil han socavado todos los avances en materia de desarrollo.
3. El nivel subnacional (en particular el nivel local) es otro desafío reconocido, mencionado en muchas contribuciones. Nea-Mari, tengo curiosidad por conocer algún ejemplo de lo que ha estado haciendo Finlandia a nivel local: ¿qué tipos de soluciones digitales habéis adoptado para el seguimiento y evaluación (SyE) de los avances hacia el cumplimiento de los ODS? También me sorprende positivamente la influencia de la evaluación en las elecciones parlamentarias y la planificación del nuevo programa de gobierno. Nea-Mari, ¿cuáles dirías que son los elementos fundamentales que hacen que la evaluación sea tan poderosa en Finlandia?
4. Ejemplos de informes. Pelagia Monou, Fabandian Fofana: me pregunto si los informes de las evaluaciones en las que habéis participado son públicos y podríais compartir los enlaces con nosotros. Pelagia, ¿pudisteis ir más allá del número de proyectos y presupuesto para aprovechar las contribuciones/resultados? Fabandian, ¿medisteis las contribuciones a los ODS a nivel local? ¿Quién participó y de qué manera?
5. Y, por último, aunque no por ello menos importante, una especie de nota al margen sobre un hallazgo del informe de la Iniciativa internacional para la evaluación del impacto (3ie), compartido por Mark: se ha descuidado la labor de evaluación sobre los ODS relacionados con el planeta (ODS 6, ODS 12, ODS 13, ODS 14 y ODS 15). El informe sostiene que se han realizado muy pocas evaluaciones de impacto del ODS 12 (Producción y consumo responsables), el ODS 14 (Vida submarina) y el ODS 15 (Vida de ecosistemas terrestres). Aunque tengo mi propia hipótesis para justificar este hallazgo, me pregunto si Stefano D'Errico, Ram Khanal y otros colegas con experiencia en el sector medioambiental querrían compartir alguna explicación😊.
Aún queda mucho camino por recorrer: ¡Chris, Olivier y Lal nos recuerdan lo poco que queda para el marco posterior a la Agenda 2030!
¡¡Gracias a todos por vuestras contribuciones!!
Un cordial saludo,
Emilia