EvalForward Talks: ¿Cómo comunicar los resultados sensibles de una evaluación?

photo
©Elisabeth Kuria

Desde la comunidad EvalForward EvalForward Talks: ¿Cómo comunicar los resultados sensibles de una evaluación?

En la última sesión de EvalForward Talks, tuve la oportunidad de compartir mi experiencia sobre la manera de comunicar los resultados delicados de una evaluación, basándome en una evaluación rápida que estoy dirigiendo sobre los servicios proporcionados por diferentes proyectos en los sectores sanitario e hídrico en los condados de Kericho y Kilifi en Kenya.

Uno de los objetivos de esta evaluación es identificar enseñanzas para que los oficiales técnicos y los encargados de formular las políticas mejoren la prestación de servicios. Sin embargo, para lograrlo, es necesario un cierto grado de confianza en la evaluación y en todo su proceso.

La evaluación de estos proyectos se enmarca en un contexto de niveles descentralizados de gobierno. Entre las dificultades a las que nos hemos enfrentado —y que suponen auténticos desafíos nacionales— se incluyen un conocimiento limitado y una concepción bastante errónea de lo que es una evaluación. En Kenya, cuando se habla de una evaluación, mucha gente cree que se trata de una auditoría o un instrumento de vigilancia. Y, dada la corrupción generalizada en el país, la población suele ponerse a la defensiva cuando oye hablar de cualquier cuestión relacionada con esta práctica.

Los resultados de la evaluación fueron positivos y también bastante delicados. Debo aclarar que, aunque hubo algunos logros muy satisfactorios, el enfoque de la experiencia que deseo compartir no se centra en éstos.

En concreto, me gustaría compartir algunos de los resultados sensibles. Por ejemplo, algunas instalaciones sanitarias no eran sostenibles ni viables: fueron construidas sin tener en cuenta el coste del personal necesario para gestionarlas. Además, algunos proyectos de suministro de agua no se ejecutaron íntegramente —con tuberías que no funcionaban ni estaban conectadas aún para dar servicio a las comunidades objetivo— a pesar de haberse completado formalmente hace unos años. Además de estos inconvenientes, las comunidades se sentían excluidas de las fases de planificación y ejecución de estos proyectos, y expresaron su preocupación ya que afectaba a sus vidas. Por lo tanto, existía también una falta de confianza que había que resolver.

En esta situación, debía contrarrestar la idea errónea de que la evaluación era un “instrumento policial” y velar por las aportaciones constructivas sobre los resultados de la evaluación y su seguimiento.

Con estos antecedentes, el proceso de evaluación se desarrolló —bajo mi coordinación— de la siguiente manera.

En primer lugar y, de acuerdo con lo previsto, se llevaron a cabo actividades de promoción de la evaluación para desmitificarla y lograr la aceptación de las partes interesadas pertinentes. Los preparativos para comunicar los resultados y contar con la aprobación de las contrapartes/los donantes/los responsables de la toma de decisiones comenzaron antes de lo habitual y se realizaron en todas las fases del proceso de evaluación. El esfuerzo de comunicación se amplió al máximo para llegar a todas las partes interesadas, incluidos responsables políticos y oficiales técnicos a todos los niveles. Esto garantizó la transparencia y consultas amplias con un entendimiento común. Se ofrecieron capacitaciones sobre evaluaciones rápidas a los oficiales técnicos, a fin de que comprendieran mejor el proceso.

Para todo lo anterior fueron necesarias misiones de evaluación sobre el terreno durante la fase inicial, que requirieron más tiempo y presupuesto que los informes iniciales ordinarios basados en su mayor parte en estudios teóricos. El mensaje clave en todas estas misiones y consultas fue que una de las finalidades principales de la evaluación es aprender y mejorar, y no “personificar” y/o “interrogar”.

Se creó un grupo de referencia —formado por representantes de las instituciones participantes— para velar por el control de calidad.

Confío en que, una vez que los resultados de la evaluación se presenten en resúmenes breves y sencillos —en lugar de informes extensos—, las partes interesadas podrán tomar nota de ellos rápidamente y se decidirán a aplicar las recomendaciones para lograr avances.

Tras la presentación de mi experiencia en la sesión informal de EvalFoward, los participantes expresaron su preocupación por las dificultades que tiene la población para entender las evaluaciones —también en sus contextos— y la propensión a tomarse el proceso y los resultados de esta práctica como algo personal, especialmente en ciertas culturas.

Un participante afirmó que “en muchos casos, la comunicación de resultados críticos supone un problema y debe estar bien meditada, sobre todo porque los proyectos y sus resultados se ‘personalizan’ con bastante frecuencia”.

Algunas de las lecciones y sugerencias del debate:  

  • Hacer que los hechos hablen por sí solos. Cuando se trata de comunicar resultados, hay formas de dejar que las evidencias transmitan el mensaje. Esto implica mostrarlas de forma transparente, de manera que no se cuestione el proyecto o la Organización, y utilizar diferentes canales de comunicación. Un ejemplo son las entrevistas en vídeo con beneficiarios de las intervenciones para que cuenten su historia sobre lo sucedido, o los blogs en los que se abordan diferentes cuestiones utilizando un lenguaje sencillo e informal.
  • Compartir los resultados preliminares con antelación, para que no sean una sorpresa y haya tiempo para asimilarlos, formular preguntas o darles sentido.
  • Implicar a las comunidades objetivo y a las partes interesadas durante las diferentes etapas de la evaluación, en lugar de desplazarse hasta allí, hacer muchas preguntas y marcharse de vuelta. Esto creará también una sensación de confianza y propiedad.
  • Contribuir a desarrollar una cultura de “afán de aprendizaje y mejora”, en contraposición al “linchamiento” y la percepción de la evaluación como “arma arrojadiza”. En el contexto de una organización, este enfoque se puede materializar presentando los fracasos de una forma divertida y sencilla, compartiendo historias de cambio en diferentes eventos. Esto puede contribuir a desarrollar una cultura de intercambio de conocimientos más abierta, así como a demostrar lo mucho que podemos aprender de los resultados adversos y cómo nos pueden servir éstos de fuente de inspiración.
  • Realizar un seguimiento de las actividades. Similar al enfoque de respuesta de la administración empleado en las grandes organizaciones: pedir al equipo del proyecto que reaccione a los resultados y recomendaciones de la evaluación creando una lista de verificación y un calendario que especifiquen qué recomendaciones se aplicarán o en cuáles de ellas se trabajará, en qué plazo y de qué manera.
  • Dirigir la comunicación a diferentes públicos objetivo.

Huelga decir que una evaluación rigurosa, transparente y basada en evidencias solo beneficiará a la imagen y reconocimiento de esta práctica entre las partes interesadas. En este sentido y, para contribuir a la aceptación de los resultados y la práctica de evaluación en general, resulta fundamental verificar las fuentes de datos, identificar las partes interesadas de manera adecuada y elegir cuidadosamente los métodos.

Me gustaría reiterar mi agradecimiento a todos los participantes en la sesión e invitar a todos los miembros de EvalForward a añadir sus comentarios o compartir información relevante en el recuadro que figura a continuación.