La mirada escéptica en la evaluación (y qué hacer con ella)

Image
© European evaluation society

La mirada escéptica en la evaluación (y qué hacer con ella)

5 min.

Reflexiones sobre la ponencia de Estelle Raimondo y Peter Dahler-Larsen en la Conferencia de la ESS el 10 de junio de 2022

En una ponencia magistral, repleta de datos y que invitaba a la reflexión, Peter Dahler-Larsen y Estelle Raimondo pidieron a los participantes que reconocieran que, en ocasiones, la evaluación es más un problema que una solución. Al hacer balance del crecimiento de la evaluación como práctica y disciplina, abogaron por un mejor equilibrio entre los beneficios y los costes de los sistemas de evaluación.

¿Qué sucede cuando los evaluadores vuelven la mirada hacia sí mismos? A veces se trata de un mero ejercicio de autocomplacencia. Sin embargo, Peter Dahler-Larser[1]y Estelle Raimondo[2] prepararon algo muy diferente para los participantes en la 14ª conferencia anual de la Sociedad Europea de Evaluación (EES, por sus siglas en inglés), celebrada en Copenhague el mes pasado. En lugar de mirarse al ombligo, ofrecieron una dosis saludable de autocrítica basada en datos.

Cuestionaron la “ideología según la cual basta con realizar más evaluaciones para que el aprendizaje, la rendición de cuentas y el esclarecimiento sean ilimitados”, abogaron por una “mirada escéptica” y posteriormente se explayaron para aclarar que no se trata de una visión negativa de la evaluación. La “mirada escéptica” simplemente consiste en evaluar los sistemas de evaluación con el mismo rigor y espíritu crítico con que los evaluadores valoran a sus “evaluados”, en términos de su utilidad, impacto y eficacia en función del coste.

Su argumento fundamental —en mi opinión de mucho peso— es que la evaluación ha sido víctima de su propio éxito. Su creciente institucionalización en los organismos públicos ha llevado a aplicarla de manera indiscriminada a conjuntos de personas o carteras de programas, con independencia de su utilidad. Convertir la evaluación en un proceso obligatorio no supone utilizar el pensamiento crítico donde resulta más necesario. En términos económicos de los ponentes, “la distribución de las evaluaciones se desvincula de la distribución de los problemas”. Esto hace que proliferen los casos en que los costes de esta práctica son mayores que sus beneficios, convirtiendo la evaluación en un “lastre”. 

Según los ponentes, la problemática radica en la “burocratización de la evaluación”: la difusión de normas y rutinas, la codificación excesiva y la imposición de ciertas características obligatorias. Todo esto hace que las oficinas de evaluación se conviertan en víctimas de los mismos problemas que las instituciones que supuestamente les deben rendir cuentas. Los funcionarios públicos que trabajan bajo regímenes estrictos de gestión basada en los resultados y seguimiento y evaluación pueden encontrar éstos contraproducentes, ya que se suelen centrar en los indicadores, la aversión al riesgo y el cumplimiento. “Nuestras propias herramientas se han vuelto contra nosotros”[3].

Este análisis intenta representar la “paradoja del uso”, según la cual los sistemas de evaluación crecen más rápido que las evidencias para una utilización funcional de sus recomendaciones. Esto significa que, en ocasiones, los organismos pueden reducir los riesgos para su reputación y ganar legitimidad por tener un sistema de evaluación, más que por usarlo. En este caso, los ponentes apuntan a un “uso instrumental” de la evaluación (una expresión mía): el establecimiento y funcionamiento de sistemas de evaluación complejos casi con la única finalidad de demostrar que la organización en cuestión realiza evaluaciones. 

Después de una deconstrucción tan sistemática e implacable de sus medios de vida, los evaluadores profesionales que asistieron a la ponencia se debatieron entre un sentimiento de agradecimiento por el análisis honesto de algunas de sus preocupaciones más profundas y la desolación por la magnitud del problema expuesto con detalle por los ponentes. Al menos ésa fue mi reacción. Empecé a respirar de nuevo cuando los ponentes pasaron a enumerar posibles soluciones. Éstas son algunas de las numerosas y excelentes recomendaciones que formularon:  

  • Adaptar la oferta de servicios de evaluación a la necesidad o demanda (es decir, evitar la cobertura sistemática y el uso de sistemas estándar).  

  • Escuchar a los demás de manera más sistemática, incluida su crítica de las evaluaciones.  

  • Emplear un lenguaje más sencillo y menos encorsetado en los informes.   

  • Adoptar cierto grado de informalidad y establecer relaciones con las personas e instituciones evaluadas.  

  • Considerar los efectos no deseados. 

  • Establecer sistemas más simples y ágiles para las instituciones. 

Sus consejos se resumen en el marco de Copenhague para sistemas de evaluación sólidos. El vídeo de la ponencia se puede encontrar en YouTube (comienza en el minuto 5:25) 

¡Muy recomendable!  

  • To Daniel, Thanks, that's a good one. However, to be precise I would say that some institutions use evaluation as a drunk uses a lamppost -- for support rather than illumination. "Some", because I certainly hope that phenomenon is not universal. :-)

  • Interesting analysis on the indiscriminate application and diminishing returns to the practice of late through its "performative" use.

    Reference to how "....sometimes, agencies can reduce reputational risk and draw legitimacy from having an evaluation system rather than from using it" reminds of the analogy the famous classicist and poet AE Housman made in 1903:

    "...gentlemen who use manuscripts as drunkards use lamp-posts,—not to light them on their way but to dissimulate their instability.”

    or in plain english relating to the subject: People Use Evaluation as a Drunk Uses a Lamppost — For Support Rather Than Illumination