El uso de las evaluaciones es una cuestión fundamental para la comunidad evaluadora. El objetivo de una evaluación es ejercer una cierta influencia.
Es por ello que debe resultar útil para los responsables de las políticas, los encargados de elaborar los programas, los planificadores de los proyectos y los responsables superiores. Recientemente he realizado una encuesta a diferentes evaluadores para examinar el concepto de utilización de las evaluaciones, su visión sobre este tema y la materialización de este enfoque en su trabajo. Es decir, he analizado cómo informan los evaluadores sobre los resultados de las evaluaciones y de qué manera contribuyen a su uso e influencia.
Uso y utilización de las evaluaciones: un resumen
El enfoque de evaluación centrada en el uso (UFE, por sus siglas en inglés) —desarrollado por Michael Quinn Patton— se basa en el principio de que las evaluaciones se deben valorar en función de la utilidad para los usuarios a los que están dirigidas. Para ello es preciso que las evaluaciones se planifiquen y realicen de forma que los resultados y el propio proceso para fundamentar las decisiones e influir en éstas se utilicen con mayor asiduidad.
La Africa Evidence Network es una red africana que aboga desde hace tiempo por la toma de decisiones basadas en evidencias (EIDM, por sus siglas en inglés), un enfoque basado en la utilización de los mejores datos disponibles para fundamentar las decisiones. En este contexto, puede tratarse de investigaciones científicas, pero también otras formas valiosas de evidencias para fundamentar la toma de decisiones, como puntos de vista de los ciudadanos, datos censales u opiniones de expertos, por citar algunos ejemplos. En esencia, la EIDM tiene como objetivo utilizar las mejores evidencias disponibles —aquéllas que son apropiadas para su finalidad, adecuadas para el contexto y ampliables para la opción elegida— para la adopción de decisiones.
En Maximizing the Use of Evaluation Findings —un documento centrado en aprovechar al máximo los resultados de las evaluaciones— el Banco Asiático de Desarrollo identificó cuatro tipos de uso de una evaluación: instrumental, conceptual, político o simbólico y procesal. El uso instrumental hace referencia a la repercusiñon de una evaluación basada en efectos directamente observables, como el cambio de una política o la introducción de una nueva iniciativa de un programa. El uso conceptual es más indirecto y corresponde a la utilización de las evaluaciones para influir en el pensamiento sobre cuestiones más generales. El uso político o simbólico es más retrospectivo y guarda relación con la utilización de las evaluaciones para justificar decisiones ya adoptadas sobre una política o un programa. El uso procesal hace referencia a la forma en que las partes interesadas se ven afectadas como resultado de su participación en una evaluación (p. ej. cambios en sus percepciones, valores, pensamientos o comportamientos que pueden influir en sus decisiones).
¿Qué hacen los evaluadores? Consejos de la encuesta
Para conocer los métodos, enfoques, herramientas y técnicas que utilizan los evaluadores para formular y presentar los resultados de las evaluaciones de manera que sean útiles para los usuarios y les animen a aprovecharlos, preparé una encuesta basada en el Marco del Arcoíris (Rainbow Framework) de BetterEvaluation[1]. Esta organización recomienda identificar a las partes interesadas y sus necesidades en materia de información, utilizar medios adecuados para comunicar los resultados de las evaluaciones, garantizar la accesibilidad de la información, formular recomendaciones y contribuir a aprovechar los resultados.
70 evaluadores cumplimentaron la encuesta. A continuación, se exponen algunos de los resultados.
Para comunicar los resultados de las evaluaciones, la mayoría de los evaluadores siguen utilizando informes escritos, principalmente informes finales (23,6%) y resúmenes ejecutivos (20,1%). Las postales (0,9%) y los comunicados de prensa (3,5%) son los formatos menos utilizados.
Para presentar los resultados de las evaluaciones, PowerPoint y los papelógrafos son los formatos más utilizados (42,6% y 22%, respectivamente). Los vídeos, las exposiciones y los carteles (9,2%, 12,1% y 14,2%, respectivamente) se utilizan con mucha menos frecuencia, a pesar de ser medios bastante atractivos para este fin. En cuanto a los actos de presentación, las conferencias presenciales y virtuales y las sesiones informativas se utilizan por igual para comunicar los resultados.
Una de las formas más creativas de comunicar los resultados de las evaluaciones es el reportaje fotográfico (50%). Existen otras formas imaginativas que se utilizan con menor frecuencia, pero que pueden ser fascinantes. Por ejemplo, el teatro (3,0%), la poesía (4,5%) o los dibujos animados (6,1%).
En cuanto al uso de elementos de diseño gráfico, el empleo del programa Word (29,6%), la maquetación del informe (27,2%) y las imágenes (23,5%) son los enfoques que se suelen utilizar para comunicar los resultados. El color (19,1%) es el enfoque de diseño gráfico menos usado. Los evaluadores encuestados suelen emplear títulos descriptivos para los gráficos, epígrafes a modo de exposición resumida, un lenguaje sencillo y principios aplicados de diseño gráfico para que los resultados de las evaluaciones sean accesibles y se puedan utilizar. Otros enfoques —como las técnicas de énfasis, la eliminación de elementos innecesarios de los gráficos, los principios 1:3:25, y las consideraciones de accesibilidad para las personas daltónicas, invidentes y con problemas de visión— apenas se usan.
En cuanto a la formulación de recomendaciones a partir de los resultados de las evaluaciones, los métodos más utilizados son la reflexión crítica grupal (20,7%), la reflexión crítica individual (19,0%), el intercambio de beneficiarios (16,7%), la revisión externa (15,5%) y la selección participativa de recomendaciones (13,2%). Los foros de chat (5,7%), el World Café (5,2%) y la democracia electrónica (2,3%) se usan con mucha menos frecuencia.
Para contribuir a aprovechar los resultados de las evaluaciones, los encuestados se decantaron por las revisiones anuales (23,8%), el seguimiento de recomendaciones (21,8%), las notas de orientación (17%), las presentaciones en conferencias (15,6%) y el aprendizaje social (12,2%) como enfoques más habituales. El enfoque menos utilizado es el calendario de uso de datos (5,4%).
La discusión de EvalForward
Al mismo tiempo, la discusión de EvalForward recopiló más de 30 contribuciones con puntos de vista interesantes y variados. A continuación, se incluye un resumen.
Un informe de evaluación debe ser breve
Un informe de evaluación extenso probablemente aburra al lector/usuario.
Algunas recomendaciones compartidas en la discusión:
- Redactar un resumen ejecutivo de menos de 4 páginas, en el que se destaquen los resultados, conclusiones y recomendaciones;
- Elaborar un resumen de menos de 10 páginas, en el que se incluyan más cuadros y diagramas y se enumeren los resultados de forma esquemática (viñetas);
- Limitar la longitud del informe completo a un máximo de 50 páginas;
- Destacar los cambios generados (o la ausencia de éstos), señalar los resultados contra natura y poner de relieve conocimientos sobre los indicadores o las variables de interés.
Más allá del informe de evaluación: empleo de elementos visuales
Otros participantes indicaron que, mientras las evaluaciones no se perciban como algo más que meros informes destinados a cumplir requisitos burocráticos, perderemos fantásticas oportunidades de aprender. La presentación de los resultados de las evaluaciones puede resultar más atractiva si pensamos de manera visual y analizamos cómo resumir y sintetizar los resultados mediante el uso de gráficos, ilustraciones y elementos multimedia.
Un cambio de paradigma en la formulación de recomendaciones.
Tradicionalmente, los evaluadores formulan las recomendaciones basándose en las conclusiones. Sin embargo, se sugirió incorporar a un encargado de formular políticas para redactar conjuntamente recomendaciones aplicables y notas de orientación y sacar mayor provecho de las evaluaciones. Formular recomendaciones aplicables con la ayuda de sus futuros usuarios puede ser una forma de aumentar las posibilidades de aprovechar una evaluación.
Lecciones de las auditorías: ¿son útiles los comentarios/respuestas de los responsables superiores?
Otras opciones para facilitar el uso de una evaluación son exigir una respuesta de los responsables superiores y utilizar un rastreador de acciones (en Microsoft Excel o cualquier otro formato) para realizar un seguimiento de la implementación de las recomendaciones a lo largo del tiempo. Sin embargo, las respuestas a la encuesta indicaron también que estos métodos y herramientas no son siempre suficientes por sí solos, ya que en ocasiones las decisiones se toman a nivel político en lugar de basarse en las evidencias de las evaluaciones.
Construir alianzas y relaciones para utilizar las evidencias
Que los responsables superiores apoyen sin fisuras la utilización de las evidencias es una gran oportunidad que no conviene desaprovechar. Sin embargo, son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Algunos ejemplos de acciones muy útiles son construir pequeñas alianzas y relaciones para aprovechar las evidencias; incorporar gradualmente a las partes interesadas más “influyentes”; o poner de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.
Oportunidad de las evaluaciones
La noción de oportunidad se evalúa en función del periodo de tiempo en el que los datos son valiosos y permiten actuar. Las evaluaciones deben ser oportunas para que resulten provechosas y de utilidad. Un enfoque que puede ser útil consiste en realizar evaluaciones rápidas o en tiempo real.
Más allá del uso de las evidencias
El motivo principal para realizar una evaluación probablemente sea contribuir a una mejora social y producir efectos positivos en la población o el planeta. Esto incluye utilizar los resultados para cambiar políticas o programas, pero también va más allá. Demostrar cómo contribuyen las evaluaciones a mejorar las condiciones socioeconómicas o generar otros efectos positivos puede fortalecer su valor, su influencia y su uso.
Conclusión
Informar sobre los resultados de las evaluaciones y contribuir a su uso tiene una importancia crucial para asegurar su influencia. Existen enfoques, métodos, herramientas y técnicas tradicionales que los evaluadores utilizan para tal fin. Sin embargo, están surgiendo enfoques innovadores y creativos que parecen muy potentes, pero que aún no han sido examinados a fondo por los evaluadores. Puede que haya llegado el momento de que empiecen a pensar más allá de los informes y adopten plenamente estos enfoques en colaboración con expertos en estos ámbitos, ya que esto puede hacer que las evaluaciones sean más influyentes.