RE: Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?   | Eval Forward

Estimada Umi,

Muchas gracias por compartir este excelente artículo de Carol Weiss [contribución anterior aquí]. Es viejo, pero es de oro. Acabo de terminarlo y quiero grabar algunas de sus frases en el hormigón de las paredes de mi oficina. Por ejemplo:

Weiss saca a la luz una serie impresionante de supuestos que se cuecen en la práctica de la evaluación. No todos se asumen como verdaderos, pero creo que tiene razón en que tienden a "pasar desapercibidos", es decir, a ser aceptados silenciosa e incluso inconscientemente la mayoría de las veces. He aquí una lista de estos supuestos, basada en su artículo:

1. La selección de los programas o políticas que se evalúan y de los que no se evalúan se hace de forma justa, es decir, no hay una agenda oculta en el plan de evaluación y ningún programa está protegido de la evaluación.
2. El programa que se va a evaluar tiene objetivos razonables, deseables y alcanzables, por lo que puede evaluarse en función de estos objetivos.
3. Se puede confiar en que los objetivos explícitos del programa son verdaderos; no hay una agenda oculta, sino que reflejan los objetivos reales de la intervención.
4. El programa evaluado es un conjunto coherente de actividades, razonablemente estable a lo largo del tiempo e independiente de otros programas o políticas similares, por lo que tiene sentido centrarse en él en una evaluación: es una unidad de análisis válida.
5. Las partes interesadas en el programa, los beneficiarios y los evaluadores están de acuerdo en lo que es bueno y deseable; cualquier diferencia de valores puede conciliarse, de modo que el debate se limita generalmente a los medios para llegar a ellos.
6. Los resultados del programa son importantes para el personal del programa y para los responsables de la toma de decisiones, de quienes se puede esperar que presten atención a las pruebas recogidas por la evaluación para mejorar los resultados.
7. Las preguntas de los términos de referencia son las importantes y reflejan la preocupación de los destinatarios del programa, no sólo de los ejecutores del mismo.
8. El equipo de evaluación, tal y como está compuesto, puede lograr un buen grado de objetividad (neutralidad-imparcialidad-independencia...) en su análisis.
9. En la mayoría de los programas, lo que se necesita para mejorar los resultados es un cambio incremental (esfuerzos renovados, más recursos) en lugar de desechar el programa por completo o cambiar radicalmente su enfoque.

Esta última suposición se basa en el hecho de que la mayoría de las recomendaciones que surgen de las evaluaciones se refieren a pequeños ajustes en la aplicación del programa. Weiss lo relaciona con el tipo de mensajes que pueden aceptar los encargados de las evaluaciones.

En la práctica, todos son problemáticos, al menos ocasionalmente, y Weiss hace un gran trabajo mostrando cómo algunos de ellos a menudo no se sustentan en los hechos. Por ejemplo, en la hipótesis 1, muestra que los nuevos programas suelen estar sometidos a más presión evaluativa que los antiguos y bien establecidos.

Así que gracias de nuevo por un artículo tan perspicaz. La evaluación es, en efecto, de naturaleza política y los evaluadores sólo pueden beneficiarse si lo comprenden.

Olivier