Gracias por todas las respuestas y las interesantes y perspicaces contribuciones.
Lo que me motivó a escribir este post fue la impresión de que la mayoría de las lecciones aprendidas identificadas en los informes de evaluación o no son lecciones o están mal formuladas y rara vez se utilizan; en otras palabras, los evaluadores están generando (¿pero lo estamos haciendo?) conocimientos que en realidad no sirven para nada. Además, tuve la impresión de que detrás de este problema estaba la falta de una comprensión compartida del concepto y de los procesos para identificar y captar estos tipos específicos de pruebas.
Entonces, ¿cómo identificar las lecciones aprendidas reales y útiles?
Intentaré resumir los puntos clave planteados:
1. La diversidad de respuestas deja claro que, como evaluadores, aún no tenemos una comprensión compartida de lo que son las lecciones aprendidas. Muchas veces, las lecciones parecen estar ahí sólo para marcar una casilla en los requisitos de los informes.
2. ¿Cuáles son los elementos clave de las lecciones? Las lecciones deben:
- formularse sobre la base de la experiencia y las pruebas, y sobre el cambio que afecta a la vida de las personas;
- ser observables (o haber sido observadas);
- reflejar la perspectiva de diferentes partes interesadas (por tanto, observadas desde diferentes ángulos);
- reflejar los retos a los que se enfrentan las partes interesadas en diferentes posiciones (es decir, ¡también los donantes pueden tener algo que aprender!);
- ser algo nuevo [que represente] un valioso conocimiento y/o forma de hacer las cosas;
-reflejar lo que salió bien y también lo que no salió bien;
- poder mejorar la intervención;
- ser específicos y procesables (a la vez que adaptables al contexto) para que puedan ponerse en práctica.
Me gusta mucho el enfoque de ALNAP que sintetiza las lecciones que deben aprenderse. Desde mi punto de vista, una lección sólo se aprende realmente si la próxima vez se hace de forma diferente. De lo contrario, ¡todavía no está aprendida! Por eso tiendo a llamar simplemente "lecciones" a las que identificamos durante las evaluaciones.
3. ¿Cómo recopilamos las lecciones aprendidas? El proceso de recopilación debe
- ser sistemático y resultar de consultas con las diferentes partes interesadas;
- incluir qué (contenido), para quién (partes interesadas) y cómo (¡contexto!);
- tener claro quién es el público destinatario (por ejemplo, personal operativo, personal implicado en operaciones estratégicas, responsables políticos, etc.)
- tener en cuenta la dinámica de poder (donantes, ejecutores, beneficiarios, etc.)
- considerar las consecuencias prácticas (por ejemplo, ¿es posible adaptarse?);
- incluir sistemas operativos/mecanismos de retroalimentación para garantizar que las conclusiones se debatan y apliquen cuando así se acuerde;
- equilibrar el rigor y el sentido práctico.
4. Mi última pregunta era: ¿cómo garantizamos (intentamos) que se "aprendan" realmente las lecciones, es decir, que se utilicen, que se pongan en práctica? (aquí utilizo el interesante concepto de ALNAP, según el cual las lecciones se formulan para ser aprendidas). Algunos consejos compartidos fueron:
-asociar estrategias para poner en práctica, incluyendo incentivos;
- las lecciones deben informar o estar alineadas con las recomendaciones;
- las recomendaciones deben reflejarse en la respuesta de la "dirección"; y
- la dirección debe ser responsable de la aplicación.
Es bueno ver que otras organizaciones y colegas están interesados y que hay algunos recursos disponibles. Espero que esto pueda ayudarnos a mejorar nuestras prácticas. A continuación he recopilado los enfoques y herramientas recomendados, y los ejemplos y recursos compartidos.
Muchas gracias.
Un cordial saludo,
Emilia
***
Enfoques o herramientas recomendados como eficaces para captar y procesar las lecciones aprendidas (la mayoría en inglés)
Recogida de resultados (OH),
Revisiones posteriores a la acción (AAR) y/o
Análisis de perspectivas (AP)
El enfoque de ALNAP (que incluye la revisión bibliográfica, la revisión de la junta de expertos y la evaluación de la frecuencia, la calidad y la pertinencia); puede encontrarse más información sobre la metodología aquí (documento centrado en los retos de las catástrofes relacionadas con el clima: https://www.alnap.org/help-library/annex-alnap-lessons-paper-adapting-h…).
Recursos y ejemplos compartidos:
Documento de estudio de la oficina de evaluación del PNUMA: "Lecciones aprendidas de la evaluación: A Platform for Sharing Knowledge", del que es coautora Catrina (2007) (enlace aquí)
El informe de evaluación del "Projet de prestation de services participatifs de la Tunisie pour la reintegration" elaborado para la Union Tunisienne de Solidarité Social con un buen ejemplo de captación de lecciones aprendidas (en francés): booklet utss.pdf (evalforward.org) . Encontrará las lecciones aprendidas a partir de la página 38.
Un ejemplo de lecciones aprendidas extraídas de una evaluación sobre igualdad de género Exemple sur leçons apprises d'une évaluation.docx (live.com)
ABC de la COVID-19. Prevención, Vigilancia y Atención de la Salud en las Comunidades Indígenas y Afromexicanas. (Bertha Dimas Huacuz. INPI. 2020), accesible en la página del Instituto Nacional de Pueblos Indígenas (INPI-MX): https://lnkd.in/gpv3wgu (portada del libro)/ https://lnkd.in/gG5wpVE (texto del libro). Consolida lecciones derivadas de la pandemia para el desarrollo de regiones y municipios, recopiladas de diversas iniciativas de desarrollo comunitario en México - recurso en español.
Estudio cualitativo sobre tres temas diferentes tras el terremoto de 2015 en Nepal, dirigido por World Vision International en Nepal en colaboración con 7 agencias internacionales diferentes que trabajan en la respuesta al terremoto. Informe de la Iniciativa de Aprendizaje Colectivo DEC, Nepal.pdf
RE: How to define and identify lessons learned?
Estimados todos,
Gracias por todas las respuestas y las interesantes y perspicaces contribuciones.
Lo que me motivó a escribir este post fue la impresión de que la mayoría de las lecciones aprendidas identificadas en los informes de evaluación o no son lecciones o están mal formuladas y rara vez se utilizan; en otras palabras, los evaluadores están generando (¿pero lo estamos haciendo?) conocimientos que en realidad no sirven para nada. Además, tuve la impresión de que detrás de este problema estaba la falta de una comprensión compartida del concepto y de los procesos para identificar y captar estos tipos específicos de pruebas.
Entonces, ¿cómo identificar las lecciones aprendidas reales y útiles?
Intentaré resumir los puntos clave planteados:
1. La diversidad de respuestas deja claro que, como evaluadores, aún no tenemos una comprensión compartida de lo que son las lecciones aprendidas. Muchas veces, las lecciones parecen estar ahí sólo para marcar una casilla en los requisitos de los informes.
2. ¿Cuáles son los elementos clave de las lecciones? Las lecciones deben:
- formularse sobre la base de la experiencia y las pruebas, y sobre el cambio que afecta a la vida de las personas;
- ser observables (o haber sido observadas);
- reflejar la perspectiva de diferentes partes interesadas (por tanto, observadas desde diferentes ángulos);
- reflejar los retos a los que se enfrentan las partes interesadas en diferentes posiciones (es decir, ¡también los donantes pueden tener algo que aprender!);
- ser algo nuevo [que represente] un valioso conocimiento y/o forma de hacer las cosas;
-reflejar lo que salió bien y también lo que no salió bien;
- poder mejorar la intervención;
- ser específicos y procesables (a la vez que adaptables al contexto) para que puedan ponerse en práctica.
Me gusta mucho el enfoque de ALNAP que sintetiza las lecciones que deben aprenderse. Desde mi punto de vista, una lección sólo se aprende realmente si la próxima vez se hace de forma diferente. De lo contrario, ¡todavía no está aprendida! Por eso tiendo a llamar simplemente "lecciones" a las que identificamos durante las evaluaciones.
3. ¿Cómo recopilamos las lecciones aprendidas? El proceso de recopilación debe
- ser sistemático y resultar de consultas con las diferentes partes interesadas;
- incluir qué (contenido), para quién (partes interesadas) y cómo (¡contexto!);
- tener claro quién es el público destinatario (por ejemplo, personal operativo, personal implicado en operaciones estratégicas, responsables políticos, etc.)
- tener en cuenta la dinámica de poder (donantes, ejecutores, beneficiarios, etc.)
- considerar las consecuencias prácticas (por ejemplo, ¿es posible adaptarse?);
- incluir sistemas operativos/mecanismos de retroalimentación para garantizar que las conclusiones se debatan y apliquen cuando así se acuerde;
- equilibrar el rigor y el sentido práctico.
4. Mi última pregunta era: ¿cómo garantizamos (intentamos) que se "aprendan" realmente las lecciones, es decir, que se utilicen, que se pongan en práctica? (aquí utilizo el interesante concepto de ALNAP, según el cual las lecciones se formulan para ser aprendidas). Algunos consejos compartidos fueron:
-asociar estrategias para poner en práctica, incluyendo incentivos;
- las lecciones deben informar o estar alineadas con las recomendaciones;
- las recomendaciones deben reflejarse en la respuesta de la "dirección"; y
- la dirección debe ser responsable de la aplicación.
Es bueno ver que otras organizaciones y colegas están interesados y que hay algunos recursos disponibles. Espero que esto pueda ayudarnos a mejorar nuestras prácticas. A continuación he recopilado los enfoques y herramientas recomendados, y los ejemplos y recursos compartidos.
Muchas gracias.
Un cordial saludo,
Emilia
***
Enfoques o herramientas recomendados como eficaces para captar y procesar las lecciones aprendidas (la mayoría en inglés)
Recursos y ejemplos compartidos: