Gracias a todos por sus ideas y contribuciones. El debate ha reunido diferentes experiencias y puntos de vista, pero la mayoría parece estar de acuerdo con los principios básicos de la cuestión.
Antes de continuar, explicaré mi punto de vista:
Incluso en los experimentos de laboratorio en los que todas las condiciones están controladas, los científicos se permiten un nivel de error, pero intentan que sea el menor posible. Por lo tanto, no estoy hablando de un 100% de seguridad en los resultados con intervenciones humanas (seres complicados).
Lo que saco de la discusión es que todos nos esforzamos por ser "objetivos e inclusivos "en la medida de lo posible. Esto último expresa nuestro "intervalo de confianza'' y los "grados de libertad".
El debate aportó una amplia gama de temas relacionados con la independencia/ imparcialidad/ neutralidad de la evaluación. Desde la discusión de los conceptos hasta la sugerencia de metodologías de trabajo, los participantes enriquecieron el debate.
Las diferentes contribuciones sacaron a relucir importantes factores que pueden influir en la independencia, neutralidad e imparcialidad de los evaluadores. El Sr. Jean de Dieu Bizimana y el Sr. Abubakar Muhammad Moki plantearon la cuestión de la influencia del comisario de evaluación y de los términos de las referencias sobre estos conceptos. El Dr. Emile HOUNGBO aporta la dependencia financiera del evaluador, especialmente si la organización/equipo que financia la evaluación es también responsable de la ejecución de la intervención. El Sr. Richard Tinsley considera que, incluso cuando se dispone de fondos, los evaluadores pueden carecer de neutralidad para garantizar futuras asignaciones. El Sr. Tinsley puso el ejemplo de las organizaciones de agricultores que no desempeñan el papel previsto, pero que siguen presionando a los pequeños propietarios. Desde el punto de vista de Lasha Khonelidze, la "mentalidad abierta" del evaluador es importante para aportar diversos puntos de vista, pero igual de importante es garantizar que la evaluación sea útil para los usuarios finales (éstos deben definirse en los TdR).
Sébastien Galéa sugiere que se trabaje en normas/estándares a nivel de la gestión de los programas sobre el terreno. También destaca la importancia del intercambio de información y experiencias entre pares en todo el mundo (ex EvalForward). Compartió con gracia un documento cuyo título indica claramente que el objetivo de la evaluación es obtener mejores resultados en el futuro, ya sea a través de intervenciones posteriores o de ajustes en la intervención evaluada. El documento también explica la independencia/imparcialidad desde la perspectiva del Banco Asiático de Desarrollo (BAD) y cómo esta organización trabajó sobre estos principios. En mi opinión, el documento de Weiss, compartido por la Sra. Umi Hanik, es un complemento. El documento de Weiss analiza el desarrollo, la ejecución y la evaluación de los programas. La idea principal es que los programas se deciden en función de un entorno político y, puesto que la evaluación está destinada a orientar la toma de decisiones, también comparte la presión de los participantes políticos en el programa. Así, para un participante en el programa, la aceptación pública es más importante que la relevancia del programa. Por lo tanto, creo que aquí es donde entra en juego la independencia/imparcialidad/neutralidad de la evaluación.
Abubakar Muhammad Moki añadió que algunas empresas contratan a evaluadores que conocen, lo que confirma la Sra. Isha Miranda, que añadió que este hecho repercute en la calidad de la evaluación, lo que hace que disminuya la calidad de los informes de evaluación (argumento basado en pruebas) :) . El Sr. Olivier Cossee añadió que los evaluadores contratados deben ser "razonablemente neutrales". Creo que esto presiona al comisario de evaluación para que verifique/compruebe si los evaluadores son "razonablemente" neutrales e introduce otra variable: ¿hasta qué punto el evaluador es razonablemente neutral? (¿podemos remitirnos a los estudios de comportamiento?). Para la Sra. Siva Ferretti, las decisiones individuales del evaluador están influidas por su cultura y, por tanto, es difícil ser "realmente" inclusivo/neutral. El podcast compartido por la Sra. Una Carmel Murray da un ejemplo de inclusión de todos los participantes para diluir la subjetividad del investigador. Asimismo, el Sr. Abado Ekpo sugiere tomarse el tiempo necesario para integrar la lógica de los diferentes actores y comprenderlos para realizar una evaluación objetiva. Además, los señores Steven Lam y Richard Tinsley hablan de la importancia de la metodología a la hora de incorporar el interés de todos los participantes. El Sr. Lal Manavado resumió la reflexión en términos de responsabilidad ante los proveedores de fondos o los políticos o grupos sociales. Mi opinión es que hay que rendir cuentas a los objetivos del proyecto. ¿Se han alcanzado o no? si no, ¿por qué no? si se han alcanzado, ¿para quién?
El Sr. Khalid El Harizi añadió que la disponibilidad de datos/información al inicio de la evaluación, así como la capacidad de los evaluadores para sintetizar los datos, son importantes. No obstante, hay que señalar que, incluso cuando los datos están disponibles, puede que los evaluadores no tengan fácil acceso a ellos. Así lo confirmó el Sr. Ram Chandra Khanal, que planteó la cuestión de que la falta de tiempo y el acceso limitado a la información sobre las partes interesadas afectarán a la recogida de datos.
Este debate planteó claramente la cuestión de la definición de los términos. Como ya se ha dicho, hay que definir a los usuarios finales. También la Sra. Svetlana Negroustoueva pidió ejemplos para contextualizar el término de independencia. Además, el Sr. Thierno Diouf planteó la importancia de definir todos los términos debatidos desde la perspectiva de todas las partes interesadas y de los evaluadores. Estas definiciones deben quedar claras en las guías, estándares y normas.
El Sr. Diagne Bassirou habla de la pérdida de calidad y profundidad del análisis con "demasiada" objetividad, ya que el evaluador puede no conocer las condiciones sociodemográficas de la zona. Desde mi punto de vista, y como ha dicho el Sr. Lahrizi, hay datos/información disponibles (o deberían estarlo) al principio y el comisario debería ponerlos a disposición del equipo de evaluación. Mi experiencia es que siempre hay una reunión inicial en la que se discuten y aclaran estas cuestiones. La capacidad de analizar estos datos/información sería una cuestión de competencia del evaluador y no de su independencia o imparcialidad.
En resumen, es posible alcanzar un grado relevante de imparcialidad/neutralidad en la evaluación, siempre que los términos de referencia sean claros, los datos estén disponibles y la independencia del evaluador esté garantizada mediante una financiación suficiente y una independencia administrativa. El evaluador necesita hacer un trabajo sobre sí mismo en términos de creencias, cultura y prejuicios. Los enfoques metodológicos podrían ayudar a revertir la posible imparcialidad.
Tanto los financiadores como los gestores y evaluadores de los programas son responsables de los cambios producidos por las intervenciones. ¿Podríamos vincular esta reflexión a los costes y beneficios sociales de las intervenciones de desarrollo?
Por último, esta es probablemente una "pregunta abierta" y podría llevar Por lo tanto, mantengamos la discusión abierta.
RE: Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?
Estimados miembros,
Gracias a todos por sus ideas y contribuciones. El debate ha reunido diferentes experiencias y puntos de vista, pero la mayoría parece estar de acuerdo con los principios básicos de la cuestión.
Antes de continuar, explicaré mi punto de vista:
Incluso en los experimentos de laboratorio en los que todas las condiciones están controladas, los científicos se permiten un nivel de error, pero intentan que sea el menor posible. Por lo tanto, no estoy hablando de un 100% de seguridad en los resultados con intervenciones humanas (seres complicados).
Lo que saco de la discusión es que todos nos esforzamos por ser "objetivos e inclusivos "en la medida de lo posible. Esto último expresa nuestro "intervalo de confianza'' y los "grados de libertad".
El debate aportó una amplia gama de temas relacionados con la independencia/ imparcialidad/ neutralidad de la evaluación. Desde la discusión de los conceptos hasta la sugerencia de metodologías de trabajo, los participantes enriquecieron el debate.
Las diferentes contribuciones sacaron a relucir importantes factores que pueden influir en la independencia, neutralidad e imparcialidad de los evaluadores. El Sr. Jean de Dieu Bizimana y el Sr. Abubakar Muhammad Moki plantearon la cuestión de la influencia del comisario de evaluación y de los términos de las referencias sobre estos conceptos. El Dr. Emile HOUNGBO aporta la dependencia financiera del evaluador, especialmente si la organización/equipo que financia la evaluación es también responsable de la ejecución de la intervención. El Sr. Richard Tinsley considera que, incluso cuando se dispone de fondos, los evaluadores pueden carecer de neutralidad para garantizar futuras asignaciones. El Sr. Tinsley puso el ejemplo de las organizaciones de agricultores que no desempeñan el papel previsto, pero que siguen presionando a los pequeños propietarios. Desde el punto de vista de Lasha Khonelidze, la "mentalidad abierta" del evaluador es importante para aportar diversos puntos de vista, pero igual de importante es garantizar que la evaluación sea útil para los usuarios finales (éstos deben definirse en los TdR).
Sébastien Galéa sugiere que se trabaje en normas/estándares a nivel de la gestión de los programas sobre el terreno. También destaca la importancia del intercambio de información y experiencias entre pares en todo el mundo (ex EvalForward). Compartió con gracia un documento cuyo título indica claramente que el objetivo de la evaluación es obtener mejores resultados en el futuro, ya sea a través de intervenciones posteriores o de ajustes en la intervención evaluada. El documento también explica la independencia/imparcialidad desde la perspectiva del Banco Asiático de Desarrollo (BAD) y cómo esta organización trabajó sobre estos principios. En mi opinión, el documento de Weiss, compartido por la Sra. Umi Hanik, es un complemento. El documento de Weiss analiza el desarrollo, la ejecución y la evaluación de los programas. La idea principal es que los programas se deciden en función de un entorno político y, puesto que la evaluación está destinada a orientar la toma de decisiones, también comparte la presión de los participantes políticos en el programa. Así, para un participante en el programa, la aceptación pública es más importante que la relevancia del programa. Por lo tanto, creo que aquí es donde entra en juego la independencia/imparcialidad/neutralidad de la evaluación.
Abubakar Muhammad Moki añadió que algunas empresas contratan a evaluadores que conocen, lo que confirma la Sra. Isha Miranda, que añadió que este hecho repercute en la calidad de la evaluación, lo que hace que disminuya la calidad de los informes de evaluación (argumento basado en pruebas) :) . El Sr. Olivier Cossee añadió que los evaluadores contratados deben ser "razonablemente neutrales". Creo que esto presiona al comisario de evaluación para que verifique/compruebe si los evaluadores son "razonablemente" neutrales e introduce otra variable: ¿hasta qué punto el evaluador es razonablemente neutral? (¿podemos remitirnos a los estudios de comportamiento?). Para la Sra. Siva Ferretti, las decisiones individuales del evaluador están influidas por su cultura y, por tanto, es difícil ser "realmente" inclusivo/neutral. El podcast compartido por la Sra. Una Carmel Murray da un ejemplo de inclusión de todos los participantes para diluir la subjetividad del investigador. Asimismo, el Sr. Abado Ekpo sugiere tomarse el tiempo necesario para integrar la lógica de los diferentes actores y comprenderlos para realizar una evaluación objetiva. Además, los señores Steven Lam y Richard Tinsley hablan de la importancia de la metodología a la hora de incorporar el interés de todos los participantes. El Sr. Lal Manavado resumió la reflexión en términos de responsabilidad ante los proveedores de fondos o los políticos o grupos sociales. Mi opinión es que hay que rendir cuentas a los objetivos del proyecto. ¿Se han alcanzado o no? si no, ¿por qué no? si se han alcanzado, ¿para quién?
El Sr. Khalid El Harizi añadió que la disponibilidad de datos/información al inicio de la evaluación, así como la capacidad de los evaluadores para sintetizar los datos, son importantes. No obstante, hay que señalar que, incluso cuando los datos están disponibles, puede que los evaluadores no tengan fácil acceso a ellos. Así lo confirmó el Sr. Ram Chandra Khanal, que planteó la cuestión de que la falta de tiempo y el acceso limitado a la información sobre las partes interesadas afectarán a la recogida de datos.
Este debate planteó claramente la cuestión de la definición de los términos. Como ya se ha dicho, hay que definir a los usuarios finales. También la Sra. Svetlana Negroustoueva pidió ejemplos para contextualizar el término de independencia. Además, el Sr. Thierno Diouf planteó la importancia de definir todos los términos debatidos desde la perspectiva de todas las partes interesadas y de los evaluadores. Estas definiciones deben quedar claras en las guías, estándares y normas.
El Sr. Diagne Bassirou habla de la pérdida de calidad y profundidad del análisis con "demasiada" objetividad, ya que el evaluador puede no conocer las condiciones sociodemográficas de la zona. Desde mi punto de vista, y como ha dicho el Sr. Lahrizi, hay datos/información disponibles (o deberían estarlo) al principio y el comisario debería ponerlos a disposición del equipo de evaluación. Mi experiencia es que siempre hay una reunión inicial en la que se discuten y aclaran estas cuestiones. La capacidad de analizar estos datos/información sería una cuestión de competencia del evaluador y no de su independencia o imparcialidad.
En resumen, es posible alcanzar un grado relevante de imparcialidad/neutralidad en la evaluación, siempre que los términos de referencia sean claros, los datos estén disponibles y la independencia del evaluador esté garantizada mediante una financiación suficiente y una independencia administrativa. El evaluador necesita hacer un trabajo sobre sí mismo en términos de creencias, cultura y prejuicios. Los enfoques metodológicos podrían ayudar a revertir la posible imparcialidad.
Tanto los financiadores como los gestores y evaluadores de los programas son responsables de los cambios producidos por las intervenciones. ¿Podríamos vincular esta reflexión a los costes y beneficios sociales de las intervenciones de desarrollo?
Por último, esta es probablemente una "pregunta abierta" y podría llevar Por lo tanto, mantengamos la discusión abierta.
Algunos enlaces intercambiados:
https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf
https://www.ecgnet.org/sites/default/files/evaluation-for-better-results.pdf
https://disastersdecon.podbean.com/e/s6e2-researcher-positionality
https://agsci.colostate.edu/smallholderagriculture/request-for-information-basic-business-parameters/.