En nuestra última sesión de EvalForward Talks —celebrada el 30 de abril— compartí mi experiencia sobre cómo realizar un examen de un proyecto de creación de capacidad desde una perspectiva de seguimiento y evaluación (SyE). Quisiera agradecer a todos los participantes sus comentarios y aportaciones. A continuación, encontrarán un breve resumen de los temas principales que se plantearon acerca de la forma de captar los efectos del desarrollo de la capacidad (formaciones, talleres y actividades de tutoría) de manera apropiada.
Los vericuetos de la creación de capacidad
Como saben, es necesario adoptar un enfoque general a la hora de evaluar los proyectos de promoción y desarrollo de la capacidad. Este planteamiento no encaja realmente con los procesos lineales de los marcos lógicos de los proyectos y los indicadores relacionados. Aunque los productos, resultados y efectos previstos continúan siendo hitos importantes para la ejecución, los equipos de los proyectos y los evaluadores deben ser capaces de analizar la eficacia más allá de indicadores y objetivos. Quizás seamos capaces de planificar y anticipar determinados elementos de la ejecución y sus efectos en la fase propositiva, pero ¿qué posibilidades hay de que los ejercicios de concienciación, las actividades de promoción y las sesiones de capacitación y tutoría logren nuestros objetivos, y no otros? Una amplia variedad de individuos retiene y pone en práctica conocimientos y habilidades adquiridos a lo largo de estos proyectos, en entornos muy diversos y durante un período prolongado de tiempo. Por tanto, aunque planifiquemos los proyectos de forma lineal, la realidad puede sorprendernos con numerosos giros inesperados.
Mi experiencia en el seguimiento y la evaluación del desarrollo de la capacidad
A modo de ejemplo, analicemos nuestro proyecto de creación de capacidad (“Strengthening Local Advocacy Leadership in East Africa”). Destinado a fortalecer la promoción y el liderazgo locales en África oriental, ha logrado que 12 organizaciones dirigidas por jóvenes promovieran los derechos a la planificación familiar y la salud reproductiva en Kenya y Tanzania. Para ello, recibieron un año de capacitación básica y posteriormente tuvieron la oportunidad de solicitar una subvención por un período de dos años.
En primer lugar —y fiel al espíritu de la sesión de Silvia Ferreti “Entender primero: por qué es importante anteponer la comprensión a la medición”, celebrada el 26 de marzo de 2021 en el marco de la serie EvalForward Talks— el personal del proyecto, los beneficiarios y los evaluadores externos debían comprender —de manera clara y unívoca— el concepto del proyecto, la teoría del cambio y los motivos de los esfuerzos de creación de capacidad. Sin un entendimiento común, las expectativas pueden desviarse y la eficacia del proyecto puede verse comprometida. A tal efecto, un equipo central del proyecto —que incluía a los principales depositarios de conocimientos en las oficinas de los países en los que se implementa— participó en su planificación, con el fin de garantizar que cada uno de sus integrantes tuviera una visión general y comprensión claras de los objetivos. Al comienzo del proyecto se elaboró un marco de SyE, que incluía un glosario de términos fundamentales y una hoja de referencia de indicadores. Se convirtió en un documento dinámico, que aclaraba cualquier incertidumbre del documento central.
En segundo lugar, contar con un donante flexible y un diseño de proyecto adaptable fueron importantes para fomentar la apertura y las oportunidades de explorar nuevas formas de medir los efectos de la promoción y el desarrollo de la capacidad, así como para facilitar la adaptación a los cambios y giros repentinos en la implementación del proyecto.
A continuación, se presentan algunos de los métodos y herramientas utilizados en el SyE del proyecto:
- El enfoque de revisión de la capacidad de promoción (ACR, por sus siglas en inglés), diseñado por expertos del Instituto Aspen. Se trata de un proceso facilitado de 2-4 horas de duración, destinado a evaluar la capacidad organizativa a fin de promocionar la planificación familiar y la salud reproductiva. El ACR se diseñó para facilitar la reflexión de las organizaciones sobre sus propias habilidades y prioridades en materia de aprendizaje, en lugar de adherirse a normas preestablecidas de la evaluación tradicional de la capacidad organizativa. El objetivo de este enfoque era evaluar la capacidad organizativa y de promoción de los 12 grupos dirigidos por jóvenes, así como sus principales prioridades en materia de creación de capacidad. Los resultados sirvieron de referencia y fundamentaron la elaboración y diseño de la Guía de facilitadores del desarrollo de la capacidad para los 12 meses de capacitación básica. Otras evaluaciones provisionales proporcionaron información sobre los progresos realizados y dieron lugar a planes individualizados de creación de capacidad.
- Se realizaron exámenes tradicionales previos y posteriores al proyecto —así como cuestionarios y encuestas— para recopilar información preliminar sobre la calidad de las medidas de desarrollo de la capacidad y cualquier necesidad de mejora. Aunque estos ejercicios son valiosos para ampliar los conocimientos sobre cómo mejorar los materiales y enfoques en materia de creación de capacidad, proporcionan poca información sobre los efectos a largo plazo de este tipo de intervenciones. De hecho, como señaló un participante durante la sesión:
“Una cosa es adquirir los conocimientos y comprobar —mediante exámenes posteriores— si los alumnos han asimilado las enseñanzas y en qué medida. Y otra cosa es practicar y aplicar los conocimientos adquiridos. Esto solo se puede medir cuando sabemos cuál es el problema o déficit de conocimientos inicial, y si éste se ha solucionado utilizando las nuevas enseñanzas. Solamente entonces se percibirá el cambio. Esto es algo que se materializará a largo plazo. El éxito del desarrollo de la capacidad solo se puede medir de manera indirecta, a través de la resolución de los problemas causados previamente por la falta de conocimientos".
El enfoque ACR —mencionado anteriormente— es una herramienta valiosa para analizar los cambios a largo plazo provocados por las intervenciones de creación de capacidad.
- Todas las sesiones de actualización y las reuniones de la red de estrategias de promoción ofrecieron la posibilidad de intercambiar conocimientos y habilidades entre pares en la comunidad de práctica, a fin de evidenciar las habilidades adquiridas y demostrar el valor del aprendizaje entre pares y la creación de una red de contactos.
- Las herramientas de seguimiento continuo —como la asimilación de los mensajes de promoción y los rastreadores de comunicaciones y participación en las políticas— contribuyeron a identificar y examinar la integración de los mensajes de promoción en las agendas políticas locales, las mejoras en la visibilidad local y la interacción en los foros políticos y las redes de promoción.
- Los informes de tutoría y los rastreadores facilitaron el seguimiento de la participación y progresos en materia de orientación, así como la identificación de necesidades cambiantes. Pero también sirvieron para incrementar la confianza recíproca, el aprendizaje y el apoyo.
- Las visitas de seguimiento se utilizaron para mantener lazos estrechos y examinar la implementación en ambas partes. Se celebraron debates para apoyar la rendición de cuentas recíproca.
- Durante el último año —más centrado en el examen, el aprendizaje y el seguimiento de la planificación del proyecto— y, como innovación en tiempos de la enfermedad por coronavirus (COVID-19), se celebraron sesiones de generación de nuevas ideas —de periodicidad mensual y de una hora de duración— en las que participaron todas las partes interesadas en el proyecto. Tenían el objetivo de permitir intercambios abiertos —en un clima de confianza— sobre aspectos exitosos del proyecto y, lo que es más importante, diferentes ámbitos de mejora. Aunque no pudimos recabar información significativa de los cuestionarios en línea, estas sesiones resultaron útiles en términos de aprendizaje y nuevas ideas de mejora.
- El uso de un rastreador de lecciones aprendidas nos ayudó a identificar las enseñanzas adquiridas y posibles formas de adaptación de manera continua.
- A lo largo de los dos últimos años, hemos proporcionado herramientas para captar historias de cambio y hemos celebrado una serie de sesiones de capacitación —articuladas por medio de la narración de historias— para que los integrantes de nuestra “familia del proyecto” pudieran convertirse en narradores y mostrar sus enseñanzas más inspiradoras, detallando cómo afectaron a sus vidas y a su labor de promoción. Sus testimonios se darán a conocer y se compartirán en una conferencia sobre “historias de cambio”. Sus relatos nos ayudarán a identificar los efectos del desarrollo de la capacidad más allá de nuestro universo de marcos lógicos lineales. Por su parte, la conferencia pretende estimular el intercambio de conocimientos, el establecimiento de redes de contactos y la creación de alianzas.
Tenemos previsto celebrar una breve ronda final sobre el ACR y centrarnos posteriormente en enfoques novedosos para nosotros —como la recolección de resultados— con objeto de ampliar nuestros conocimientos sobre los efectos inesperados de la intervención de nuestro proyecto. Tal y como señaló otro participante durante la sesión:
“La recolección de resultados podría ayudar a categorizar la información recopilada —por medio de la narración de historias, las encuestas y las entrevistas, por citar algunos ejemplos— con el fin de encontrar patrones en los tipos de cambios [experimentados por] quienes han sido objeto de una intervención de creación de capacidad, y determinar cómo hicieron las cosas de manera diferente y, a su vez, influyeron en otros para proceder de forma distinta”.
Enseñanzas
A modo de resumen, las principales enseñanzas que he aprendido sobre la evaluación del desarrollo de la capacidad son las siguientes:
- Invertir mucho tiempo y estar dispuesto a aprender y adaptarse es esencial.
- La creación de capacidad no puede ser un ejercicio aislado. Requiere un diseño cuidadoso y probado (una evaluación de las necesidades y un enfoque muy participativo), con el fin de incorporar ciclos de revisión y adaptación regulares e inclusivos y construir un entorno de confianza para el aprendizaje e intercambio, sin jerarquías, y sujeto a una rendición de cuentas clara y recíproca.
- Esto crea un sentimiento de propiedad y da lugar a un proceso enriquecedor, transformador y sostenible.
¿Cuáles son sus experiencias, lecciones aprendidas y buenas prácticas en el SyE de proyectos centrados en la promoción y el desarrollo de la capacidad? ¡Estamos muy interesados en formar una comunidad de práctica esclarecedora en este ámbito! No duden en ponerse en contacto a través de la sección de comentarios de este blog o enviándome un correo electrónico a: cornelia.rietdorf@dsw.org.