Recientemente planteé un tema de debate: pregunté a los miembros de EvalForward cuál era su opinión/experiencia sobre la neutralidad, la imparcialidad y la independencia del evaluador en las diferentes fases del proceso de evaluación.
Incluyo a continuación algunas de las ideas principales de la amplia variedad de experiencias y puntos de vista compartidos, junto con algunas reflexiones personales.
¿A qué nos referimos exactamente cuando hablamos de independencia?
La discusión planteó preguntas muy claras sobre la definición. ¿Qué significa la independencia y qué implica? Un informe de 2016 del Programa de las Naciones Unidas para el Desarrollo (PNUD)[1] define la independencia de la evaluación como un “concepto dual: la independencia formal y la independencia sustancial. La independencia formal hace referencia a la ausencia estructural de control sobre la realización de una evaluación. La independencia sustancial puede describirse como la evaluación científica objetiva de un tema exenta de influencias indebidas que puedan distorsionar o sesgar la realización o conclusiones de una evaluación”.
Sin embargo, los usuarios, los directores y los beneficiarios de las evaluaciones pueden interpretar la independencia, la neutralidad y la imparcialidad de manera diferente (por lo general, suelen percibir la neutralidad y la imparcialidad como principios bastante similares). De ahí que, como evaluadores, debamos tratar de consensuar una interpretación común de estos conceptos clave para nuestra práctica y profesión.
¿Qué factores pueden influenciar a un evaluador?
La mayoría de los participantes en el debate parecieron estar de acuerdo en la importancia de estos principios en la evaluación, pero citaron algunos factores clave que podrían influir en la independencia, la neutralidad y la imparcialidad de los evaluadores. Algunos participantes se preguntaron también hasta qué punto debemos insistir en estos conceptos en términos concretos.
En primer lugar, aunque la práctica de la evaluación pueda exigir al evaluador distanciarse de su cultura, su lógica y su sistema de valores, sus decisiones individuales pueden seguir estando influidas por su cultura y antecedentes, dificultando la neutralidad absoluta. Los evaluadores deben dedicar tiempo a conocer e integrar la lógica de los diferentes contextos y partes interesadas a fin de realizar una evaluación objetiva y reducir los posibles sesgos culturales.
Quienes encargan las evaluaciones y elaboran los términos de referencia pueden influir también en los evaluadores y —por ende— en su independencia. Algunos participantes mencionaron la dependencia financiera del evaluador, haciendo hincapié en aquellos casos en los que quienes encargan la evaluación (una persona o una organización) se han ocupado también de la ejecución de la intervención, y están por ello particularmente interesados en que el resultado sea positivo. En estas circunstancias, se suele ejercer una cierta presión sobre el consultor, que reduce su neutralidad e imparcialidad en el desempeño de su labor. Del mismo modo, otros participantes señalaron que, incluso cuando se dispone de fondos, los evaluadores pueden no ser neutrales para asegurarse encargos futuros.
Asimismo, en ocasiones se les contrata por sus vínculos personales con quienes encargan las evaluaciones o las relaciones laborales que han establecido con éstos. Esta situación puede afectar a la calidad de las evaluaciones y los informes. Los evaluadores deben ser razonablemente neutrales, independientemente de su experiencia o relación con quienes encargan las evaluaciones. A su vez, éstos se deben esforzar en seleccionar candidatos neutrales.
La disponibilidad de datos, información y conocimientos es crucial a lo largo de una evaluación, así como la capacidad de los evaluadores para sintetizar estos recursos y ponerlos en perspectiva. Sin embargo, los evaluadores suelen tener dificultades para acceder a los datos. Pueden enfrentarse a ciertas limitaciones (p. ej. falta de tiempo) para contactar con las partes interesadas, los beneficiarios y otros grupos relevantes. Esto puede influir en la neutralidad del proceso de evaluación. La inclusión y la participación de las partes interesadas en el proceso de evaluación —junto con las condiciones que fomentan una “actitud abierta” de los evaluadores a diferentes puntos de vista— son fundamentales para lograr la objetividad y la imparcialidad y obtener resultados útiles en materia de aprendizaje.
La calidad y la profundidad del análisis también se pueden ver mermadas por un exceso de objetividad. El evaluador puede no tener toda la información sobre la intervención y las condiciones sociodemográficas de la zona, y realizar un análisis superficial como consecuencia de ello.
¿Buscar la neutralidad o adoptar un enfoque abiertamente sesgado?
Algunos participantes en el debate se opusieron a equiparar la evaluación con la investigación. Sostuvieron que la evaluación no debe aspirar al nivel de independencia y neutralidad de la investigación. Sin embargo, esta discusión resulta también bastante relevante para la investigación. En especial en el ámbito de las ciencias sociales, donde el posicionamiento del investigador con respecto al objeto de la investigación continúa siento objeto de debate. Ni siquiera la investigación científica puede ser completamente independiente. Es más, incluso los experimentos de laboratorio conllevan cierto margen de error.
Por otro lado, algunos participantes abogaron por un enfoque completamente diferente: en lugar de pretender que los evaluadores podemos llegar a ser imparciales, tiene más sentido ser conscientes —en la medida de lo posible— de nuestras elecciones, mantener una actitud abierta sobre ellas y ser honestos sobre las dinámicas en juego y las decisiones adoptadas. Un participante sugirió que los evaluadores seamos abiertamente parciales y nos esforcemos por dar mayor voz a quienes suelen estar menos representados.
Dado que lograr que todas las partes interesadas participen resulta difícil, obtener un resultado objetivo es también complicado. Uno de los participantes compartió un artículo bastante antiguo —pero aún relevante— de Weiss [2], que analiza el desarrollo, la ejecución y la evaluación de los programas. Sostiene que éstos se deciden en el contexto de un determinado entorno político. Por tanto, como la evaluación está destinada a orientar la toma de decisiones, está sujeta también a la presión de los participantes políticos en los programas. En otras palabras, la evaluación nunca puede aislarse del contexto político en el que se lleva a cabo. Y los evaluadores debemos ser conscientes de ello. De ahí que debamos esforzarnos por actuar con un nivel razonable de independencia, imparcialidad y neutralidad, a fin de aportar el valor añadido esperado en la evaluación de un programa.
Conclusión: debemos aspirar al mayor nivel de objetividad posible
Si los términos de referencia son claros, se dispone de datos fiables y hay financiación suficiente y autonomía administrativa que garanticen la independencia del evaluador, éste debe reflexionar sobre sus propias creencias, cultura y sesgos. Los enfoques metodológicos pueden ayudar a revertir cualquier sesgo inadecuado.
Como evaluadores, debemos ser conscientes de nuestros propios sesgos y prejuicios y tratar de gestionar estas limitaciones. Tenemos que esforzarnos por actuar de forma neutral, imparcial e independiente, aunque en la práctica no sea del todo posible.
Como este artículo no es un resumen detallado del debate, no dude en leer todas las contribuciones en la sección Participar en la discusión de este sitio web y compartir cualquier otra idea o comentario utilizando el cuadro de texto que figura a continuación, o enviando un correo electrónico a info@evalforward.org.
Gracias a los participantes: Abado Bienvenue EKPO, Abubakar Muhammad Moki, Bamlaku Alamirew Alemu, Bassirou Diagne, Egwuatu U. ONYEJELEM, Emile N. HOUNGBO, Isha Miranda, Jean de Dieu BIZIMANA, Khalid El Harizi, Lal Manavado, Lasha Khonelidze, Mohammed Lardi, Olivier Cossée, Pamela Dianne White, Ram Chandra Khanal, Richard Tinsley, Roxana Marcela Arce, Sébastien Galéa, Silva Ferretti, Svetlana Negroustoueva, Thierno Diouf, Umi Hanik, Una Carmel Murray