La mirada escéptica en la evaluación (y qué hacer con ella)

En una ponencia magistral, repleta de datos y que invitaba a la reflexión, Peter Dahler-Larsen y Estelle Raimondo pidieron a los participantes que reconocieran que, en ocasiones, la evaluación es más un problema que una solución. Al hacer balance del crecimiento de la evaluación como práctica y disciplina, abogaron por un mejor equilibrio entre los beneficios y los costes de los sistemas de evaluación.

¿Qué sucede cuando los evaluadores vuelven la mirada hacia sí mismos? A veces se trata de un mero ejercicio de autocomplacencia. Sin embargo, Peter Dahler-Larser^[1]y Estelle Raimondo^[2] prepararon algo muy diferente para los participantes en la 14ª conferencia anual de la Sociedad Europea de Evaluación (EES, por sus siglas en inglés), celebrada en Copenhague el mes pasado. En lugar de mirarse al ombligo, ofrecieron una dosis saludable de autocrítica basada en datos.

Cuestionaron la “ideología según la cual basta con realizar más evaluaciones para que el aprendizaje, la rendición de cuentas y el esclarecimiento sean ilimitados”, abogaron por una “mirada escéptica” y posteriormente se explayaron para aclarar que no se trata de una visión negativa de la evaluación. La “mirada escéptica” simplemente consiste en evaluar los sistemas de evaluación con el mismo rigor y espíritu crítico con que los evaluadores valoran a sus “evaluados”, en términos de su utilidad, impacto y eficacia en función del coste.

Su argumento fundamental —en mi opinión de mucho peso— es que la evaluación ha sido víctima de su propio éxito. Su creciente institucionalización en los organismos públicos ha llevado a aplicarla de manera indiscriminada a conjuntos de personas o carteras de programas, con independencia de su utilidad. Convertir la evaluación en un proceso obligatorio no supone utilizar el pensamiento crítico donde resulta más necesario. En términos económicos de los ponentes, “la distribución de las evaluaciones se desvincula de la distribución de los problemas”. Esto hace que proliferen los casos en que los costes de esta práctica son mayores que sus beneficios, convirtiendo la evaluación en un “lastre”. 

Según los ponentes, la problemática radica en la “burocratización de la evaluación”: la difusión de normas y rutinas, la codificación excesiva y la imposición de ciertas características obligatorias. Todo esto hace que las oficinas de evaluación se conviertan en víctimas de los mismos problemas que las instituciones que supuestamente les deben rendir cuentas. Los funcionarios públicos que trabajan bajo regímenes estrictos de gestión basada en los resultados y seguimiento y evaluación pueden encontrar éstos contraproducentes, ya que se suelen centrar en los indicadores, la aversión al riesgo y el cumplimiento. “Nuestras propias herramientas se han vuelto contra nosotros”^[3].

Después de una deconstrucción tan sistemática e implacable de sus medios de vida, los evaluadores profesionales que asistieron a la ponencia se debatieron entre un sentimiento de agradecimiento por el análisis honesto de algunas de sus preocupaciones más profundas y la desolación por la magnitud del problema expuesto con detalle por los ponentes. Al menos ésa fue mi reacción. Empecé a respirar de nuevo cuando los ponentes pasaron a enumerar posibles soluciones. Éstas son algunas de las numerosas y excelentes recomendaciones que formularon:  

• Adaptar la oferta de servicios de evaluación a la necesidad o demanda (es decir, evitar la cobertura sistemática y el uso de sistemas estándar).  

• Escuchar a los demás de manera más sistemática, incluida su crítica de las evaluaciones.  

• Emplear un lenguaje más sencillo y menos encorsetado en los informes.   

• Adoptar cierto grado de informalidad y establecer relaciones con las personas e instituciones evaluadas.  

• Considerar los efectos no deseados. 

• Establecer sistemas más simples y ágiles para las instituciones. 

Sus consejos se resumen en el marco de Copenhague para sistemas de evaluación sólidos. El vídeo de la ponencia se puede encontrar en YouTube (comienza en el minuto 5:25) 

¡Muy recomendable!