Entender primero: por qué es importante anteponer la comprensión a la medición

image
©Silva Ferretti

Desde la comunidad EvalForward Entender primero: por qué es importante anteponer la comprensión a la medición

8 min.

Como dice un popular refrán, medir aquello que no entendemos es “poner el carro delante de los bueyes”. Si medimos algo que no está claro o que se basa en suposiciones erróneas, es probable que acabemos obteniendo datos irrelevantes o llegando a conclusiones engañosas. Por tanto, antes de decidir qué medir —o incluso de dirimir si es preciso hacerlo— es fundamental entender qué tenemos entre manos. Éste fue el mensaje principal de Silva Ferretti, consultora de evaluación independiente que abrió la tercera sesión de EvalForward Talks, y que señaló —sagazmente— que no siempre se procede de esta manera y que este enfoque debería ser una práctica común en la evaluación.

La sesión de EvalForward Talks subrayó la necesidad de reafirmar la comprensión como una prioridad de la evaluación, y debatió sobre los motivos por los cuales nos enfrentamos —con demasiada frecuencia— a peticiones para medir antes que nada, los riesgos de sobredimensionar el papel de la medición y la manera de afrontar estos desafíos en la práctica. Silva abrió el debate compartiendo sus razonamientos y su experiencia a la hora de abordar la importancia excesiva que se suele dar a la medición.

A continuación, se incluyen algunos de los aspectos más destacados del enriquecedor debate entre los participantes.                     

Los motivos para anteponer la comprensión

“Sea cual sea el programa o el resultado, inmediatamente alguien dice: ‘¡Oh, tenemos que medirlo!’, casi como si se tratara de un trastorno obsesivo provocado por la medición”, afirmó Silva.

Primero tenemos que captar y comprender las dinámicas en juego, ver cómo son los cambios y qué factores los determinan. Una vez que esto queda claro, podremos decidir qué aspectos de estos cambios merece la pena medir. Si empezamos midiendo, las numerosas suposiciones que deberemos hacer influirán en la propia medición. Parece un concepto muy sencillo y obvio, pero en la práctica no se aplica de manera sistemática. Como explicó Silva, comprender da miedo, porque supone tener en cuenta cuestiones complejas. Sin embargo, ¿no constituye la base de la labor de todo evaluador entender las conexiones, las dinámicas y los factores determinantes antes de decidir qué mediciones son significativas para un proyecto o programa específico?

Para ilustrar este concepto, Silva puso como ejemplo el mapa del sistema de la obesidad elaborado por la Oficina para la Ciencia del programa Foresight del Gobierno británico. El mapa muestra las diferentes variables subyacentes a la obesidad, agrupadas en conjuntos temáticos, así como sus interrelaciones positivas y negativas. La sólida comprensión del sistema dio lugar a la elaboración de una teoría del cambio adecuada: entender y desgranar las dinámicas que debemos abordar para impulsar el cambio y —por último— medir algunos aspectos.

Silva mencionó también la evaluación de un programa de resiliencia como otro buen ejemplo de las razones por las cuales es importante entender antes de medir. Para elaborar una teoría del cambio eficaz, resulta conveniente tener la capacidad de pasar de un marco inicial formado por varios elementos a los factores de cambio que impulsan cada uno de estos componentes, los vínculos entre ellos, los sistemas y algunas mediciones.

No estamos debatiendo diferentes enfoques metodológicos con una mentalidad binaria de evaluación cuantitativa frente a evaluación cualitativa. Se trata de asegurarse de que todas las partes implicadas en una evaluación sean conscientes de las dimensiones relevantes que se deben abordar y tengan claro su significado y complejidades subyacentes. Cómo evaluarlas es una cuestión totalmente distinta.

Enlace a la presentación de Silva (¡disfrute de las preciosas ilustraciones!).

¿Cuál es el origen de estos requisitos de medición y cómo reconocerlos?

¿Por qué las peticiones para medir se consideran tan importantes y están tan generalizadas? ¿Y por qué el proceso de medición se suele aceptar sin poner objeción alguna? Algunas de las dinámicas y cuestiones planteadas por los participantes fueron las siguientes:

  • La urgencia y el foco en el tiempo disponible y los plazos para presentar informes suelen limitar las posibilidades de reflexión y el espacio para la comprensión.
  • Existe la creencia de que la rendición de cuentas y la credibilidad se basan en datos numéricos: de ahí la urgencia por recopilar y generar datos sin examinar con detenimiento quién los va a utilizar y de qué manera. “Los datos generados para la rendición de cuentas no tienen sentido”, señaló un participante.
  • Las propias propuestas de proyectos se basan a veces en un conjunto de acciones ajenas a las dinámicas subyacentes. ¿Qué entendemos por obesidad? ¿Qué dimensiones debemos captar para que las políticas se elaboren sobre la base de las evidencias generadas?
  • La medición de datos cuantitativos y cualitativos se suele considerar la única forma de comunicar resultados: ¿por qué creemos que hay que ofrecer cifras para resultar creíbles?
  • Las mediciones y el proceso de medición se aceptan sin discusión. Los indicadores pueden mostrar resultados positivos cuando —en realidad— no lo son, y pueden requerir un análisis más profundo.
  • La tendencia habitual a sobrestimar la importancia de las mediciones dificulta la comprensión de la evaluación y ésta puede resultar simplemente errónea o engañosa.
  • Algunos donantes se centran en mediciones y objetivos, pero hay otros que se limitan a dar instrucciones y dejan a los encargados de la ejecución decidir cómo progresar. Éste es un enfoque mucho más abierto al aprendizaje y la comprensión.

Ejemplo: Medir la participación de una comunidad local mediante el número de participantes en un taller concreto. Todos sabemos que esta cifra no es demasiado significativa. Los participantes pueden volver a casa y compartir con entusiasmo lo que han aprendido con sus vecinos y el resto de la comunidad. Pero también pueden participar en un taller con el único objetivo de recibir algún tipo de compensación, sin interés alguno por aprender o aplicar lo que han escuchado. Existen innumerables razones para asistir a un taller. Entonces, ¿por qué seguimos proporcionando cifras de asistencia, de escasa utilidad? ¿Qué es lo que realmente queremos saber sobre la participación de la comunidad?

¿Quiénes deben comprender?

Los participantes señalaron también la tendencia a pasar por alto la comprensión de las personas que participan en un proyecto. En su diseño se debe incorporar la comprensión y perspectivas de todos los participantes y partes interesadas, que pueden compartir posteriormente por medio de imágenes, vídeos u otras herramientas. El equipo de un proyecto suele tener también dificultades para hacer oír su voz y entendimiento.

¿Qué podemos hacer al respecto?

Los participantes compartieron su experiencia:

  • Utilizar un enfoque de métodos combinados aumenta las posibilidades de tener en cuenta diversas estructuras y sistemas y llegar a la raíz del asunto.
  • Los mapas pueden ser una forma útil de identificar y comprender las conexiones. También ayudan a comunicar resultados a los asociados. Se sugiere utilizar un proceso iterativo: elaborar un mapa, recopilar datos, elaborar un nuevo mapa y medir. Por supuesto, la comprensión facilita la comunicación y la transmisión de los mensajes: nos permite ser específicos y alejarnos de la jerga y el vocabulario sofisticado carente de significado real.
  • Los enfoques participativos generan evidencias e información sobre dinámicas clave que obviaríamos de otro modo, y fomentan la comprensión colaborativa, permitiendo a los beneficiarios y a los evaluadores entender y facilitar este planteamiento. Deberíamos fomentar estos enfoques participativos.
  • Tendríamos que cambiar la mentalidad de los donantes y otras partes interesadas, promoviendo un mayor énfasis en la comprensión y la calidad de los resultados.
  • Deberíamos utilizar enfoques como el análisis de resultados por medio de mapas o la recolección de resultados, a fin de identificar factores que impulsan el cambio y elaborar un sistema complejo de conexiones para poder comprender los resultados.
  • Los evaluadores no deben ser reacios a reafirmar la necesidad de comprender: es fundamental para la evaluación.
  • Conviene recordar los principios de la evaluación centrada en el uso —formulados por Patton[1]— en virtud de los cuales las evaluaciones se deben llevar a cabo de forma que fomenten la utilización de sus resultados y de las evidencias generadas.
  • Aunque los términos de referencia parezcan inamovibles, corresponde al evaluador aclararlos. Quizás creamos que los donantes prefieren un enfoque clásico, pero pueden estar abiertos a nuevas perspectivas, si se las presentamos y argumentamos de manera adecuada.

“Tenemos que empezar a pensar en el coste de los conocimientos perdidos”, afirmó un participante.

Haga clic aquí para ver una pizarra virtual que recopila los principales desafíos y soluciones compartidos por los participantes.

Este no es un resumen exhaustivo del debate y de las numerosas reflexiones compartidas. Por favor, no dude en compartir sus comentarios utilizando el recuadro que figura a continuación, o enviando un correo electrónico a info@evalforward.org.