La evaluación cuestiona el valor de las intervenciones de ayuda. Necesitamos aprovechar toda la utilidad de esta práctica.

image

La evaluación cuestiona el valor de las intervenciones de ayuda. Necesitamos aprovechar toda la utilidad de esta práctica.

Como evaluadores, ¿sabemos qué valor aportamos? La pregunta no es nueva, alimentada por el auge de la “política de la posverdad” (KALPOKAS, 2019). A pesar de los numerosos debates sobre la pertinencia y utilidad de las evaluaciones, este asunto sigue abierto y merece nuestra atención.

La pandemia de la enfermedad por coronavirus (COVID-19) ha expuesto y/o agravado cualquier problema preexistente en todo el mundo. También para los evaluadores, ya que desde marzo de 2020 nos planteamos preguntas adicionales sobre cómo garantizar que las evaluaciones sean útiles para sus destinatarios. Impulsadas por la necesidad de seguir contribuyendo al aprendizaje y la rendición de cuentas, las evaluaciones han adoptado también nuevas formas de trabajo, y se han convertido —en gran medida— en una práctica virtual. ¿Sabemos cómo ha afectado esto a la utilidad de nuestro trabajo?  Si bien reconocemos las nuevas limitaciones como consecuencia de la pandemia, tal vez debamos abordar también esta cuestión.

¿Qué ha hecho la evaluación hasta ahora para promover su utilidad y prolongar su influencia?

Se está prestando cada vez mayor atención a fomentar la utilidad de las evaluaciones. En el último decenio, han proliferado publicaciones y orientaciones sobre evaluaciones centradas en el uso. Hacen referencia a dimensiones como la participación de las partes interesadas y los enfoques participativos; la priorización de las conclusiones; la comunicación adecuada de los resultados; y los procesos de seguimiento. Por tanto, no es que no lo hayamos intentado. Sin embargo, la experiencia sigue demostrando que estos buenos principios no suelen ser suficientes para garantizar la influencia de la evaluación en la adopción de decisiones, ya sea a nivel político, comunitario, colectivo o individual.   

Entonces, ¿qué se podría hacer para maximizar el potencial de las evaluaciones?

Los procesos de evaluación podrían orientarse más hacia las teorías de cambio de comportamiento. La toma de decisiones —como cualquier otra acción— es un elemento fundamental de estas teorías (véase FRENCH et al., 2012 y PROSHAKA, 2008).  Sin embargo, ¿con qué frecuencia integran las evaluaciones modelos de cambio de comportamiento en sus procesos? A menudo, tratamos de explicar los procesos de transformación de las intervenciones evaluadas a través de teorías de cambio u otros modelos. ¿Por qué no aplicar esta misma lógica para comprender las dinámicas que afectan al uso de nuestras evaluaciones? Esto podría ayudar a los evaluadores a influir en las actitudes y comportamientos de los destinatarios, de modo que puedan tomar decisiones basadas en conclusiones y recomendaciones.

Las evaluaciones también deben contar buenas historias para captar la atención de los destinatarios y apelar a sus emociones. Los informes que elaboramos para comunicar los resultados de las evaluaciones suelen ser demasiado extensos, algo dispersos y demasiado detallados para ofrecer un mensaje claro. El relato es un “método importante para transmitir mensajes que los científicos deben aprender con el fin de utilizarlo en sus estrategias de comunicación”, destinado a influir en la toma de decisiones (DAVIDSON, 2017). Sin embargo, se utiliza poco.  ¿Estamos contando una historia atractiva?

Por último, las evaluaciones requieren procesos de seguimiento rigurosos y prolongados. Disponemos de procedimientos para realizar un seguimiento de las medidas adoptadas como resultado de nuestras recomendaciones. Sin embargo, en este punto el proceso tiene ya sus defectos. Algunas evaluaciones no reciben siquiera una respuesta de los responsables directos de abordar las cuestiones planteadas por éstas.  Incluso cuando existen planes de acción, muchos de los matices relacionados con el proceso de implementación de las recomendaciones de la evaluación —o incorporados a éste—no se suelen tener en cuenta, como sucede —por ejemplo— en el caso del entorno propicio. En lugar de realizar un análisis adecuado para explicar en qué medida se han aplicado estas recomendaciones, el seguimiento suele limitarse a indicadores de acción demasiado simples y con poco sentido. Se pierde el “espíritu” de cambio necesario. Que las responsabilidades estén diluidas explica esto en parte: ¿quién puede mantener estas promesas durante años, cuando todo el mundo tiene otras prioridades que atender? Los esfuerzos que contribuyen —a través de cualquier mecanismo de diálogo— a transferir la responsabilidad de las recomendaciones de los evaluadores a los directores de programas son de gran ayuda. Sin embargo, este diálogo no suele prolongarse durante mucho tiempo y los beneficios de las evaluaciones se atenúan en última instancia.

¿Y si pensamos de manera innovadora?

La lógica que relaciona la evaluación con la mejora de los programas se basa en una distinción clara entre el “territorio” del evaluador independiente y el de las partes interesadas encargadas de adoptar medidas. Para que una evaluación sea más útil, es necesario encontrar formas de reforzar este vínculo, manteniendo a su vez dicha distinción.

Designar a un responsable del plan de acción posterior a la evaluación podría ser un buen punto de partida. Esto podría aumentar la probabilidad de adoptar medidas adecuadas como resultado de las recomendaciones formuladas. Si los directores de programas tienen otro trabajo y los evaluadores han pasado a desempeñar otras tareas, y resulta evidente que esto no funciona bien cuando la responsabilidad es compartida, ¿podemos decidir finalmente a quién le corresponde la labor?

Y, no menos importante, ¿no ha llegado el momento de considerar los resultados de la evaluación como un punto de partida y no como una conclusión, y prestar atención específica a su uso una vez completada ésta? Hoy en día, la evaluación no se suele concebir como una práctica que se prolongue más allá de la publicación de un informe o la realización de un taller de finalización. Tal vez deberíamos plantearnos cambiar nuestras estructuras mentales tradicionales...

Una solución para aprovechar mejor los productos de evaluación puede consistir en animar a los evaluadores a seguir un proceso centrado en la utilidad, basado en modelos de cambio de comportamiento y estrategias narrativas, que tenga en cuenta los esfuerzos específicos posteriores a la elaboración del informe de evaluación, y se desarrolle con el mismo rigor con el que abordan el diseño y la realización del propio análisis.

Por último, para lograr que las evaluaciones sean más útiles, también resulta necesario invertir en estrategias y recursos concretos que contribuyan a una comunicación eficaz de sus mensajes a los responsables de la toma de decisiones. Este ámbito ofrece muchas posibilidades —aún no aprovechadas— para los evaluadores. Numerosos organismos han invertido ya en estas funciones, que exigen esfuerzos específicos y especializados destinados a incrementar las posibilidades de alcanzar el objetivo de los conocimientos en materia de evaluación: adoptar mejores medidas en el futuro.

 

Bibliografía

DAVIDSON, B. 2017. Storytelling and evidence-based policy: lessons from the grey literature. Online, Nature – Humanities & Social Science Communications. Disponible en https://doi.org/10.1057/palcomms.2017.93

FRENCH, S., GREEN, S., O’CONNOR, D. et al. 2012. Developing theory-informed behaviour change interventions to implement evidence into practice: a systematic approach using the Theoretical Domains Framework. Implementation Sci 7, 38. Disponible en: https://doi.org/10.1186/1748-5908-7-38

KALPOKAS, I. 2018. Post-truth: The Condition of Our Times. In: A Political Theory of Post-Truth. Palgrave Pivot. Disponible en: https://doi.org/10.1007/978-3-319-97713-3_2

PROSHAKA, J. 2008. Decision Making in the Transtheoretical Model of Behavior Change. Sage Journals. Disponible en: https://journals.sagepub.com/doi/10.1177/0272989X08327068