Neutralidad, imparcialidad e independencia: ¿en qué fase de una evaluación es importante cada uno de estos conceptos? 

Estoy muy de acuerdo con su opinión, porque si el proceso de recogida de datos se ve perjudicado, se recogerán datos erróneos, lo que afectará sin duda a su interpretación y, por extensión, a la presentación de informes. Los procesos de recogida de datos, interpretación y presentación de informes deben seguir una secuencia lógica como la cadena de resultados: uno debe informar al siguiente.

Buenas tardes, muy interesantes los aportes de cada uno de ustedes y que enriquese la mirada del evaluador. Estoy de acuerdo que en todo  el proceso la imparcialidad, la neutralidad y la independencia deben estar presentes. Pero ello no significa que en ello esta experiencia, la  cultura y la ideología del evaluador y que puede manejar o inferir en los datos y su análisis se vea traspasado por estos factores.

Agradezco la reflexión de Silva.

Para que una evaluación tenga éxito no es necesario que sea un hallazgo científico, simplemente hacer participar a todos los interesados en torno a una temática es realmente un reto, es imposible evitar que un resultado y una conclusión sean imparciales. No estamos en un laboratorio, sino en un sistema abierto.

Mohammed Lardi

Me ha gustado mucho leer la nota y ver el cuidado con que se ha redactado, teniendo en cuenta todos los puntos de vista.

Es útil para ver en qué punto se encuentra el debate. Pero el tema, "closing remarks", es un poco desconcertante. :-)

Como dice Malika, es más útil mantener el debate abierto.

Existe la suposición de que las evaluaciones deben ser imparciales y neutrales (y que el evaluador es el guardián de esto), una tendencia a equiparar las evaluaciones con la investigación (¡incluso la investigación no siempre puede ser imparcial!).

La idea subyacente de la evaluación es: un producto generado por un experto que selecciona la muestra perfecta y llega a conclusiones científicas.

¿Es esto lo que debe ser una evaluación?

¿No debería una evaluación ser más bien una oportunidad para aplicar el pensamiento evaluativo sobre un programa?

¿Una oportunidad en la que diferentes personas, con diferentes visiones del mundo, puedan entender mejor en qué punto se encuentra un programa, qué posibilidades hay por delante, qué se puede aprender?

Realmente me parece que estamos presentando TODAS las evaluaciones como si tuvieran que ser "productos científicos", originados por expertos, capaces de ser imparciales y sabios.

Alguna evaluación (o mejor, alguna investigación) bien podría tener este enfoque.

Pero asumir que éste debe ser siempre el objetivo de la evaluación en general es muy problemático.

Las evaluaciones participativas, por ejemplo, no consisten en absoluto en crear una visión imparcial.

Se trata de reunir las perspectivas de diversas personas para dar sentido a una situación.

Puede que ni siquiera lleguen a conclusiones compartidas o acordadas, pero pueden ser increíblemente poderosas para inyectar el necesario pensamiento crítico sobre la acción.

El evaluador no siempre es el experto científico... puede ser el facilitador.

Ciertamente, tiene que pensar en la inclusión y la representación, y ser muy consciente de las relaciones, la posición y el poder de las partes interesadas.

Pero la inclusión y la representación son conceptos fundamentalmente diferentes de la neutralidad, la imparcialidad y la independencia (que tampoco deberían mezclarse en el mismo saco).

Se trata de ser consciente (en la medida de lo posible) y honesto sobre cuáles son las dinámicas en juego, sobre las decisiones tomadas...

en lugar de pretender que podemos alcanzar la objetividad.

Muchas de mis evaluaciones, por ejemplo, no son neutrales POR ELECCIÓN.

Me esfuerzo por dar más voz a las personas que suelen estar menos representadas.

Hablo con más mujeres, con más marginados, con más personas con retos especiales.

Sin embargo, creo sinceramente que esta opción abierta de ser parcial, es mucho más útil que un intento de neutralidad e imparcialidad.

Con el tiempo y los recursos limitados de una evaluación, ¿qué voces merece la pena escuchar, qué conversaciones merece la pena mantener?

Ser conscientes y abiertos de cuáles son nuestras opciones es más poderoso y honesto que pretender que podemos ser imparciales. :-)

(y si de lo que se trata es de tener pruebas científicas, entonces embarquémonos en la investigación... que es otra cosa)

Gracias de nuevo por compartir puntos interesantes hasta ahora, y por facilitar el debate.

Espero que esta interesante discusión pueda continuar.

Un saludo

SIlva

Estimados miembros,

Gracias a todos por sus ideas y contribuciones. El debate ha reunido diferentes experiencias y puntos de vista, pero la mayoría parece estar de acuerdo con los principios básicos de la cuestión.

Antes de continuar, explicaré mi punto de vista:

Incluso en los experimentos de laboratorio en los que todas las condiciones están controladas, los científicos se permiten un nivel de error, pero intentan que sea el menor posible. Por lo tanto, no estoy hablando de un 100% de seguridad en los resultados con intervenciones humanas (seres complicados).

Lo que saco de la discusión es que todos nos esforzamos por ser "objetivos e inclusivos "en la medida de lo posible. Esto último expresa nuestro "intervalo de confianza'' y los "grados de libertad".

El debate aportó una amplia gama de temas relacionados con la independencia/ imparcialidad/ neutralidad de la evaluación. Desde la discusión de los conceptos hasta la sugerencia de metodologías de trabajo, los participantes enriquecieron el debate.

Las diferentes contribuciones sacaron a relucir importantes factores que pueden influir en la independencia, neutralidad e imparcialidad de los evaluadores.  El Sr. Jean de Dieu Bizimana y el Sr. Abubakar Muhammad Moki plantearon la cuestión de la influencia del comisario de evaluación y de los términos de las referencias sobre estos conceptos. El Dr. Emile HOUNGBO aporta la dependencia financiera del evaluador, especialmente si la organización/equipo que financia la evaluación es también responsable de la ejecución de la intervención. El Sr. Richard Tinsley considera que, incluso cuando se dispone de fondos, los evaluadores pueden carecer de neutralidad para garantizar futuras asignaciones. El Sr. Tinsley puso el ejemplo de las organizaciones de agricultores que no desempeñan el papel previsto, pero que siguen presionando a los pequeños propietarios. Desde el punto de vista de Lasha Khonelidze, la "mentalidad abierta" del evaluador es importante para aportar diversos puntos de vista, pero igual de importante es garantizar que la evaluación sea útil para los usuarios finales (éstos deben definirse en los TdR).

Sébastien Galéa sugiere que se trabaje en normas/estándares a nivel de la gestión de los programas sobre el terreno. También destaca la importancia del intercambio de información y experiencias entre pares en todo el mundo (ex EvalForward). Compartió con gracia un documento cuyo título indica claramente que el objetivo de la evaluación es obtener mejores resultados en el futuro, ya sea a través de intervenciones posteriores o de ajustes en la intervención evaluada. El documento también explica la independencia/imparcialidad desde la perspectiva del Banco Asiático de Desarrollo (BAD) y cómo esta organización trabajó sobre estos principios. En mi opinión, el documento de Weiss, compartido por la Sra. Umi Hanik, es un complemento. El documento de Weiss analiza el desarrollo, la ejecución y la evaluación de los programas. La idea principal es que los programas se deciden en función de un entorno político y, puesto que la evaluación está destinada a orientar la toma de decisiones, también comparte la presión de los participantes políticos en el programa. Así, para un participante en el programa, la aceptación pública es más importante que la relevancia del programa. Por lo tanto, creo que aquí es donde entra en juego la independencia/imparcialidad/neutralidad de la evaluación.

Abubakar Muhammad Moki añadió que algunas empresas contratan a evaluadores que conocen, lo que confirma la Sra. Isha Miranda, que añadió que este hecho repercute en la calidad de la evaluación, lo que hace que disminuya la calidad de los informes de evaluación (argumento basado en pruebas) :) . El Sr. Olivier Cossee añadió que los evaluadores contratados deben ser "razonablemente neutrales". Creo que esto presiona al comisario de evaluación para que verifique/compruebe si los evaluadores son "razonablemente" neutrales e introduce otra variable: ¿hasta qué punto el evaluador es razonablemente neutral? (¿podemos remitirnos a los estudios de comportamiento?). Para la Sra. Siva Ferretti, las decisiones individuales del evaluador están influidas por su cultura y, por tanto, es difícil ser "realmente" inclusivo/neutral. El podcast compartido por la Sra. Una Carmel Murray da un ejemplo de inclusión de todos los participantes para diluir la subjetividad del investigador. Asimismo, el Sr. Abado Ekpo sugiere tomarse el tiempo necesario para integrar la lógica de los diferentes actores y comprenderlos para realizar una evaluación objetiva. Además, los señores Steven Lam y Richard Tinsley hablan de la importancia de la metodología a la hora de incorporar el interés de todos los participantes. El Sr. Lal Manavado resumió la reflexión en términos de responsabilidad ante los proveedores de fondos o los políticos o grupos sociales. Mi opinión es que hay que rendir cuentas a los objetivos del proyecto. ¿Se han alcanzado o no? si no, ¿por qué no? si se han alcanzado, ¿para quién?

El Sr. Khalid El Harizi añadió que la disponibilidad de datos/información al inicio de la evaluación, así como la capacidad de los evaluadores para sintetizar los datos, son importantes. No obstante, hay que señalar que, incluso cuando los datos están disponibles, puede que los evaluadores no tengan fácil acceso a ellos. Así lo confirmó el Sr. Ram Chandra Khanal, que planteó la cuestión de que la falta de tiempo y el acceso limitado a la información sobre las partes interesadas afectarán a la recogida de datos.

Este debate planteó claramente la cuestión de la definición de los términos. Como ya se ha dicho, hay que definir a los usuarios finales. También la Sra. Svetlana Negroustoueva pidió ejemplos para contextualizar el término de independencia. Además, el Sr. Thierno Diouf planteó la importancia de definir todos los términos debatidos desde la perspectiva de todas las partes interesadas y de los evaluadores. Estas definiciones deben quedar claras en las guías, estándares y normas. 

El Sr. Diagne Bassirou habla de la pérdida de calidad y profundidad del análisis con "demasiada" objetividad, ya que el evaluador puede no conocer las condiciones sociodemográficas de la zona. Desde mi punto de vista, y como ha dicho el Sr. Lahrizi, hay datos/información disponibles (o deberían estarlo) al principio y el comisario debería ponerlos a disposición del equipo de evaluación. Mi experiencia es que siempre hay una reunión inicial en la que se discuten y aclaran estas cuestiones. La capacidad de analizar estos datos/información sería una cuestión de competencia del evaluador y no de su independencia o imparcialidad.

En resumen, es posible alcanzar un grado relevante de imparcialidad/neutralidad en la evaluación, siempre que los términos de referencia sean claros, los datos estén disponibles y la independencia del evaluador esté garantizada mediante una financiación suficiente y una independencia administrativa. El evaluador necesita hacer un trabajo sobre sí mismo en términos de creencias, cultura y prejuicios. Los enfoques metodológicos podrían ayudar a revertir la posible imparcialidad.

Tanto los financiadores como los gestores y evaluadores de los programas son responsables de los cambios producidos por las intervenciones. ¿Podríamos vincular esta reflexión a los costes y beneficios sociales de las intervenciones de desarrollo?

Por último, esta es probablemente una "pregunta abierta" y podría llevar Por lo tanto, mantengamos la discusión abierta. 

Algunos enlaces intercambiados:

https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf

https://www.ecgnet.org/sites/default/files/evaluation-for-better-results.pdf

https://disastersdecon.podbean.com/e/s6e2-researcher-positionality

https://agsci.colostate.edu/smallholderagriculture/request-for-information-basic-business-parameters/.

Evaluar requiere distanciarse de su cultura, su lógica y su sistema de valores. El contexto del proyecto debe integrarse en la fase previa a la evaluación del proyecto para reducir el sesgo. Porque es difícil hacer una evaluación sin nuestra lógica cultural. Hay que tomarse el tiempo necesario para integrar la lógica de los diferentes actores y comprenderlos para poder hacer una evaluación objetiva.

Estimada Umi,

Muchas gracias por compartir este excelente artículo de Carol Weiss [contribución anterior aquí]. Es viejo, pero es de oro. Acabo de terminarlo y quiero grabar algunas de sus frases en el hormigón de las paredes de mi oficina. Por ejemplo:

Weiss saca a la luz una serie impresionante de supuestos que se cuecen en la práctica de la evaluación. No todos se asumen como verdaderos, pero creo que tiene razón en que tienden a "pasar desapercibidos", es decir, a ser aceptados silenciosa e incluso inconscientemente la mayoría de las veces. He aquí una lista de estos supuestos, basada en su artículo:

1. La selección de los programas o políticas que se evalúan y de los que no se evalúan se hace de forma justa, es decir, no hay una agenda oculta en el plan de evaluación y ningún programa está protegido de la evaluación.
2. El programa que se va a evaluar tiene objetivos razonables, deseables y alcanzables, por lo que puede evaluarse en función de estos objetivos.
3. Se puede confiar en que los objetivos explícitos del programa son verdaderos; no hay una agenda oculta, sino que reflejan los objetivos reales de la intervención.
4. El programa evaluado es un conjunto coherente de actividades, razonablemente estable a lo largo del tiempo e independiente de otros programas o políticas similares, por lo que tiene sentido centrarse en él en una evaluación: es una unidad de análisis válida.
5. Las partes interesadas en el programa, los beneficiarios y los evaluadores están de acuerdo en lo que es bueno y deseable; cualquier diferencia de valores puede conciliarse, de modo que el debate se limita generalmente a los medios para llegar a ellos.
6. Los resultados del programa son importantes para el personal del programa y para los responsables de la toma de decisiones, de quienes se puede esperar que presten atención a las pruebas recogidas por la evaluación para mejorar los resultados.
7. Las preguntas de los términos de referencia son las importantes y reflejan la preocupación de los destinatarios del programa, no sólo de los ejecutores del mismo.
8. El equipo de evaluación, tal y como está compuesto, puede lograr un buen grado de objetividad (neutralidad-imparcialidad-independencia...) en su análisis.
9. En la mayoría de los programas, lo que se necesita para mejorar los resultados es un cambio incremental (esfuerzos renovados, más recursos) en lugar de desechar el programa por completo o cambiar radicalmente su enfoque.

Esta última suposición se basa en el hecho de que la mayoría de las recomendaciones que surgen de las evaluaciones se refieren a pequeños ajustes en la aplicación del programa. Weiss lo relaciona con el tipo de mensajes que pueden aceptar los encargados de las evaluaciones.

En la práctica, todos son problemáticos, al menos ocasionalmente, y Weiss hace un gran trabajo mostrando cómo algunos de ellos a menudo no se sustentan en los hechos. Por ejemplo, en la hipótesis 1, muestra que los nuevos programas suelen estar sometidos a más presión evaluativa que los antiguos y bien establecidos.

Así que gracias de nuevo por un artículo tan perspicaz. La evaluación es, en efecto, de naturaleza política y los evaluadores sólo pueden beneficiarse si lo comprenden.

Olivier

Sobre la rendición de cuentas

Si me dijeran que tengo que rendir cuentas de ciertos actos míos, me encontraría en una posición muy incómoda si no supiera...

   - De qué debo rendir cuentas y

   - A quién debo rendir cuentas.

Por lo que veo, no podría dar una respuesta sensata a la pregunta de si he rendido cuentas con éxito de mis acciones a menos que haya recibido respuestas razonables a estas dos preguntas.

Ahora bien, si mis acciones se guían por las normas de varios grupos, por ejemplo, los proveedores de fondos, la poltronería política, etc., por un lado, y una o varias necesidades concretas de un grupo social, por otro, mi posición será extremadamente difícil con respecto a las dos preguntas anteriores.

Entonces, ¿mis acciones deben rendir cuentas con referencia a ---

   - Las normas del proveedor de fondos,

   - Una parcela de los políticos o

   - Una o varias necesidades concretas de un grupo social que mis acciones pretenden satisfacer?

Hasta ahora en este debate, la mayoría de los participantes parecen creer que las respuestas a las preguntas anteriores son conciliables. De hecho, en un mundo cooperativo sería así, pero la mayoría de la gente defiende un entorno competitivo.

La misma dificultad se hace aún más patente cuando hay que enfrentarse a los proveedores de fondos, los políticos y los representantes más vociferantes de un "grupo objetivo".

Tal vez sea hora de que los evaluadores se detengan un momento a comprobar cuidadosamente sus premisas básicas, pues cuando nos enfrentamos a lo que puede parecer irreconciliable, un examen imparcial de nuestras premisas nos mostraría que una o varias de ellas son insostenibles.

El lector perspicaz ya se habrá dado cuenta de que "neutralidad", "imparcialidad" y "objetividad" son términos relativos a las normas utilizadas por los proveedores de fondos, los políticos, los grupos de destino, por no hablar de lo que se llama humorísticamente "medios de comunicación". En estas circunstancias, la "independencia" se convierte en una noción extremadamente cuestionable.

Salud.

Lal.

Estoy de acuerdo [con Steven Lam más abajo]. Sigue siendo importante intentar luchar por la neutralidad, la independencia y la imparcialidad (tomando estos conceptos como sinónimos a grandes rasgos), incluso si sabemos que en la práctica estos "ideales" pueden no alcanzarse al 100%. Sigue siendo importante intentar controlar los prejuicios, sigue siendo importante consultar ampliamente, etc., aunque sepamos que la neutralidad perfecta es humanamente imposible de alcanzar. Y la razón por la que es importante está relacionada con la obtención de un resultado más convincente, más creíble y útil. Una evaluación sesgada a menudo no se utiliza, y con razón.
 

La rendición de cuentas es mucho más que informar sobre un plan de trabajo (que es, desgraciadamente, la forma en que a menudo se presenta).

La rendición de cuentas significa que hacemos promesas explícitas o implícitas a otras personas y grupos (en el caso de los proyectos de desarrollo y humanitarios, a MUCHAS otras personas con diferentes perspectivas y prioridades). Somos responsables de dar cuenta de estas promesas. Eso significa: hacer que las promesas se cumplan, cuando sea posible y útil... pero también cambiar, mejorar, evolucionar nuestras promesas según sea necesario, *respetando siempre el vínculo que las sustenta*. Lo que importa para la responsabilidad es la *relación*.

Las cosas, las condiciones, pueden cambiar. Pero las personas son responsables entre sí cuando se mantienen informadas de los cambios y cuando establecen procesos sólidos para negociar el camino a seguir para mantener la promesa viva y relevante. Y posiblemente, para mejorarla.

Si se tiene esta visión de la responsabilidad, está claro que el aprendizaje forma parte de ella.

El aprendizaje es lo que mejora la promesa, y lo que mejora la confianza necesaria para negociar las promesas y las condiciones de la responsabilidad.

Por supuesto, siempre hay que recordar que esto ocurre en situaciones complicadas, y que a menudo tenemos que rendir cuentas, como se ha dicho, a personas diversas, con intereses diferentes. Podemos rendir cuentas a muchas personas. Pero, ¿qué importancia tiene para nosotros la rendición de cuentas? Los intereses de los donantes no siempre son, por ejemplo, los intereses de las personas marginadas a las que se supone que servimos... o los intereses de las generaciones futuras...

Cuando nos ceñimos a la rendición de cuentas como "ceñirnos a los resultados" no estamos entendiendo nada.

Y a menudo, más que rendición de cuentas, tenemos control burocrático.

Volviendo a la pregunta que inició el debate, la rendición de cuentas en sí misma no es una palabra neutral.

A quién elegimos para rendir cuentas tiene profundas consecuencias en la forma en que actuamos y vemos el cambio.

Es realmente importante ser conscientes de ello, en lugar de pensar que una muestra mayor resolverá la cuestión.

E incluso el discurso humanitario está tomando conciencia de ello y reformulando la comprensión de la neutralidad...

De nuevo, tenemos otro tema interesante, crítico y desafiante que comentar. Como he dicho anteriormente, la contribución más importante de cualquier evaluación de un proyecto es la orientación que proporciona a los futuros proyectos para que puedan servir mejor a los beneficiarios. Desgraciadamente, con demasiada frecuencia las evaluaciones se convierten en instrumentos de propaganda necesarios para apaciguar a los donantes y asegurar futuros proyectos, mientras que hacen poco o nada por los beneficiarios previstos.

Por lo tanto, aunque el comentario muestra un buen consenso sobre la importancia de la neutralidad-imparcialidad-independencia, el comentario también muestra que obtenerla puede ser muy difícil, ya que rara vez los proyectos proporcionan fondos para revisiones externas por parte de evaluadores independientes, pero si cuando los fondos están disponibles, los intereses creados en posibles asignaciones futuras, a menudo sesgarán la objetividad necesaria para ser lo suficientemente críticos con los resultados para guiar futuros proyectos.  

Una forma de minimizar el sesgo podría ser tener algunos objetivos claros y bien definidos que separen el éxito del fracaso del proyecto. ¿Ha visto alguien alguna vez un conjunto de criterios de evaluación que lo haga? Yo no. Este conjunto de criterios debe establecerse al principio del proyecto. También es necesario que se acerquen a lo que esperan los contribuyentes interesados en la suscripción y que se reflejen en los informes del proyecto. También es posible que deban expresarse en porcentajes de potencial, en lugar de en números agregados. Ya que cuando se hace hincapié en los números agregados se pueden generar valores muy impresionantes pero sin sentido que sólo reflejan el tamaño masivo de los proyectos y las inversiones, mientras que siguen teniendo un impacto total trivial. Esto es básicamente lo que refleja la evaluación de MEL de USAID. En cambio, el énfasis en el porcentaje del potencial dará una mejor evaluación de la eficacia del proyecto. Además, hay que recordar que la mayoría de los proyectos se definen por la comunidad a la que sirven y, por tanto, la evaluación debe reflejar el impacto comunitario más que el impacto individual.

Permítanme ilustrarlo con mi problema de desarrollo favorito. Se trata de los casi 40 años de dependencia excesiva de las organizaciones de productores para canalizar la ayuda a los pequeños agricultores. Aunque estoy de acuerdo en que las organizaciones de productores pueden ser socialmente deseables, también son engorrosas desde el punto de vista administrativo, lo que se traduce rápidamente en gastos generales, que pueden consumir con creces los beneficios financieros generales, por lo que depender de las organizaciones de productores obligará a los pequeños agricultores a sumirse más en la pobreza. Esto sin hablar de los súper inconvenientes de la comercialización en consignación en una sociedad altamente orientada al dinero en efectivo. Por ello, los agricultores las evitan de forma generalizada y prudente, de modo que necesitan continuas facilidades y subvenciones externas para existir, y luego se derrumban una vez que termina el apoyo externo. Sin embargo, el esfuerzo de desarrollo de la pequeña agricultura está totalmente empeñado en imponerlas a las comunidades, y en afirmar que son la salvación esencial para los pequeños agricultores, como lo demuestra la retórica que acompaña a cualquier presentación y que llevaría a creer que cualquiera es tonto si no participa.

Mi planteamiento es que antes de la discusión en mi clase de agricultura internacional sobre las organizaciones de productores, siempre pedía a los estudiantes, muchos de los cuales estaban interesados en el desarrollo internacional con planes de incorporarse al Cuerpo de Paz, que hicieran una lista de lo que creían que serían los valores mínimos de varios parámetros empresariales asociados a las organizaciones de productores y los comparaba con la mejor estimación que podía obtener escudriñando varios informes con algún cálculo sencillo. Los resultados están en la página web: https://agsci.colostate.edu/smallholderagriculture/request-for-informat… .

Se espera que las organizaciones de productores inscriban a más del 50% de los beneficiarios potenciales y que éstos comercialicen a través de la organización el 70% de su producción, mientras que la venta paralela es inferior al 10%. El resultado real es que sólo participan entre el 10 y el 15% de los agricultores, e incluso éstos venden la mayor parte de sus productos cuando es posible, por lo que el impacto total en la comunidad es un trivial >5%. No es lo que realmente se desea como proyecto exitoso.  Por favor, tómese unos minutos y revise la página web y algunas de las páginas enlazadas y proporcione comentarios en este foro. ¿Son los

• Los criterios que sugiero son correctos para evaluar un proyecto que proporciona un servicio empresarial a los pequeños propietarios?
• ¿Criterios incluidos alguna vez en una evaluación de un servicio empresarial para pequeños propietarios que usted conozca? Nunca he visto que se utilicen.
• ¿Las expectativas de los estudiantes en cuanto a los valores mínimos son realistas desde el punto de vista de la suscripción?
• ¿Los valores reales son correctos según su experiencia?
• Si se promovieran estos resultados objetivo al principio, ¿permitirían que una evaluación independiente o incluso interna fuera más directa al criticar los resultados sin poner en peligro futuras oportunidades?
• ¿Habría orientado los proyectos futuros a buscar medios más eficaces para ayudar a los pequeños agricultores a salir de la pobreza?

Creo que la persistencia en confiar en la organización de productores representa la falta de evaluaciones independientes o su compromiso. La escasa aceptación por parte de los pequeños agricultores debería haberse identificado hace décadas, y el esfuerzo de desarrollo debería haber pasado a identificar y aplicar opciones más eficaces. Esto representa entonces a los donantes que no tienen un interés sincero en ayudar a la difícil situación de los pequeños productores, sino que están totalmente comprometidos con imponerles este horrible modelo de negocio, en el que afortunadamente no son lo suficientemente crédulos como para caer. Lo mejor que se puede decir de esta práctica es que muestra una buena intención fácilmente publicitable sin lograr nada. Mi conclusión sobre las organizaciones de productores es que se trata de un verdadero escándalo de varias décadas y miles de millones de dólares, con algunas posibles responsabilidades graves por el encubrimiento.  ¿Me equivoco? Si hubiera habido un objetivo claro de lo que constituía el éxito frente al fracaso, ¿podría haberse evitado esto?

Algunas páginas web adicionales que entran en más detalle son

https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…

https://agsci.colostate.edu/smallholderagriculture/loss-of-competitive-…

https://agsci.colostate.edu/smallholderagriculture/vulnerability-for-cl…

Gracias.

Hola a todos

Curiosamente, anoche escuché un podcast sobre "Posicionamiento del investigador"

https://disastersdecon.podbean.com/e/s6e2-researcher-positionality/

Ve a unos 4 minutos del podcast para que la discusión comience realmente (4.12)

Con respecto a

Una

(Evaluadora y profesora)

Estimados todos, 

Aprecio la discusión y comparto la misma curiosidad desde hace cinco años, entonces hice una investigación bibliográfica, 
Entre las obras que leí, encontré un artículo relevante para nuestro debate de hoy, 
viejo, pero siempre relevante para las situaciones de evaluación de nuestros días.
 
👉🏽https://www.sfu.ca/~palys/Weiss-1973-DondeLaPolíticaYLaEvaluaciónSeEncu…;

Buena lectura

Umi

https://www.monevstudio.org 

Estimados colegas, 

Este debate es sin duda muy instructivo.

Me gustaría reemplazar las preguntas iniciales por la posición de los responsables/ funcionarios/consultores de M&E (MEAL, MEL...) a nivel de campo o de proyecto/programa y su margen de maniobra para reafirmar fuertemente la adhesión a las normas y estándares si no hay un fuerte respaldo de la función de independencia - asegurándose de que las normas y los estándares se abran paso en toda la línea. Puede que no sea una cuestión candente siempre que exista una oficina de evaluación independiente que funcione. Pero si no es así, el puesto o el funcionario de M&E sobre el terreno se convierte en una pieza/peón intercambiable que puede no alimentar la evaluación independiente.

Mi opinión es que siempre que se detecte un problema de "normas y estándares", la reclamación debe ser cubierta y dirigida por la función de evaluación independiente, ya que el consultor no está en condiciones de presionar durante mucho tiempo cuando se le margina o se acaba el contrato.  Y si no existe un departamento de evaluación independiente entonces los grupos de intercambio de pares como este o las asociaciones de evaluación nacionales e internacionales podrían ser el escenario para traer todas las preocupaciones emitidas anteriormente en este hilo y llevarlas un paso más allá para la sistematización de los organismos independientes.

Me gustaría sugerir esta lectura con ideas inspiradoras del BAD, de 2014: Evaluation for Better Results - "Accountability and Learning: Dos caras de la misma moneda" https://www.ecgnet.org/sites/default/files/evaluation-for-better-result…;

Esta cita de Moises Schwartz (ex director de la independiente del FMI) : "Para ser precisos, cuando los informes de evaluación han señalado casos en los que el FMI se ha quedado corto en su desempeño (el elemento de la rendición de cuentas), el ejercicio se convierte en una búsqueda para identificar la razón de tal comportamiento, y los hallazgos y conclusiones entonces contribuyen hacia una organización mejorada (el elemento de aprendizaje)."

A estas alturas puede parecer obvio y ganado... ¿Cuáles son sus experiencias?

Este punto que había echado de menos es hasta qué punto la responsabilidad es una condición previa para cualquier aprendizaje - dentro de todos los límites expresados anteriormente de equidad/imparcialidad " => pero también límites claros a la complacencia dada la gravedad de los problemas a los que nos enfrentamos - específicamente pensando en la petición de una adaptación más rápida y sistémica al cambio climático.

Saludos cordiales, 

Sébastien Galéa

Hola a todos,

Esta discusión me recuerda los debates sobre la investigación cualitativa y cuantitativa. La investigación cualitativa supone que la posición del investigador -como instrumento principal de la investigación- influye en todos los aspectos de la misma. La investigación cuantitativa se considera neutral/imparcial, aunque el investigador puede elegir qué preguntas hacer, a quién entrevistar, dónde buscar, etc. En lugar de tratar de establecer principios que realmente no existen en la evaluación, creo que es más fructífero ser consciente de cómo se entrelazan en la evaluación las identidades, experiencias e intereses de los evaluadores y los clientes. Al diseñar la evaluación, pregúntese: ¿a qué intereses sirve la evaluación? ¿A quién (no) preguntamos? ¿Cómo estamos influyendo en el proceso de evaluación? ¿Serán convincentes los datos? Esta toma de conciencia puede conducir a una planificación que dé lugar a evaluaciones más sólidas y creíbles.

Estimada Sra. Bounfour

Según mi experiencia, la neutralidad y la imparcialidad son muy importantes en la constitución de un equipo de evaluación para superar los sesgos en la recogida y también en el análisis de los resultados obtenidos para una mejor objetividad en una ampliación o reproducción en otro contexto. Sin embargo, en algunas situaciones de enfoque mixto con toda una parte de datos cualitativos recogidos y analizados, confiar demasiado en un equipo neutral e imparcial puede llevar a una situación de análisis no profundo o superficial de los casos o fenómenos durante el proceso. Por este motivo, creo que es importante saber hacer un buen uso de ella sin excesos, que podrían llevar a resultados sesgados por otra parte debido a la falta de comprensión de la intervención o del contexto de la misma o incluso de las características sociodemográficas de las poblaciones beneficiarias....

Estimados todos,

Mi experiencia al trabajar con las oficinas de evaluación independiente de las agencias con sede en Roma ha sido positiva en cuanto a la independencia. Por lo general, me han "cubierto las espaldas" cuando ha habido conflictos con el personal del proyecto o los equipos nacionales/regionales, insistiendo en la independencia del equipo y en su derecho a acceder a la información sin interferencias, discutiendo las calificaciones, e incluso concluyendo que deberíamos ser más críticos, en ocasiones. Por lo general, en estos casos hay al menos alguna participación del personal de la oficina de evaluación junto con los consultores independientes (aunque no siempre durante la visita de campo). En cuanto a las notas de las entrevistas, suelen estar en mi poder, por lo que no se trata de "obtenerlas". De hecho, no estoy seguro de la legalidad de utilizarlas en otras misiones; obviamente, habría que tener cuidado, ya que la información se obtuvo con un contrato diferente.

Saludos cordiales,

Pamela

Estimados colegas,

Este debate ha sido ya una revelación y una confirmación de las normas en la profesión de la evaluación.

Sería estupendo desmenuzar la cuestión de la "independencia", para contextualizarla a partir de un ejemplo que no se ha destacado anteriormente.  Para aquellos miembros que hayan realizado consultas para oficinas de evaluación independientes, es decir, para organismos de las Naciones Unidas con sede en Roma, el Banco Africano de Desarrollo, el Grupo de Evaluación Independiente del Banco Mundial, el Fondo para el Medio Ambiente Mundial o cualquier otro, y para los miembros que trabajan en esas oficinas de evaluación, ¿qué significa "independencia" entre la oficina de evaluación y un consultor/equipo contratado para realizar una evaluación?

- ¿Hasta qué punto es "independiente" un consultor/equipo de consultores de un comisario (también conocido como oficina de evaluación)?

- ¿Existe un punto en el que la orientación técnica y la garantía de calidad por parte del comisario (también conocido como oficina de evaluación) amenazan la independencia del consultor/equipo de evaluación?

- ¿Qué pasa con las pruebas recogidas (notas de las entrevistas): tiene el comisario derecho a obtenerlas para poder "recurrir" a ellas una vez que el consultor/equipo de evaluación ya no esté contratado?  

Al reflexionar sobre la cuestión, recordemos que los equipos de evaluación independientes no informan a la dirección por diseño de las estructuras de gobernanza y garantía. 

Espero que todos ustedes, de ambos lados, nos informen.

Saludos,

Svetlana Negroustoueva

Lead, Evaluation Function

CGIAR Advisory Services Shared Secretariat (CAS) Rome, Italy

Dear Isha,

sure on one side you are right this is the real time to change the practice in evaluation and bringing change with innovation.

True, some evaluators provide reports with 100 gapes without productive analysis and sometimes recommendations don't match with the issues raised.

Let 's all evaluators put together and improve our works by contributing to our global objectives.

Kinds Regards,

Estimada Mallika

Estoy muy orgullosa de que hayas sacado este tema a la luz. Nosotros, como evaluadores, siempre actuamos con neutralidad e imparcialidad. Pero muchas organizaciones como la Naciones Unidas, el Banco Mundial, el Banco Asiático de Desarrollo, etc. (como dice Abubakar: "La mayoría de las veces los evaluadores se seleccionan debido a algunas conexiones y, una vez seleccionados, esperan ser seleccionados de nuevo en el futuro") se sienten cómodos con algunos grupos de evaluadores o empresas de evaluación una y otra vez. 

He revisado muchos informes de evaluación y he encontrado un deterioro de la profesionalidad en los informes de evaluación, ya sea porque: a) son muy parciales, b) carecen de sinergias entre los hallazgos y las recomendaciones y las conclusiones, c) son informes extensos de casi 100 páginas, sin análisis productivos, falta de recogida de datos productiva, menos profesionalidad en la recogida de datos y en los cuestionarios. Estas son algunas de mis observaciones.

Creo que ha llegado el momento de alzar la voz en este sentido, presionando también por la profesionalidad de la evaluación, dadas las prioridades anteriores, para salvar esta profesión. 

Estimados todos,

Parece que hay dos discusiones o temas similares relacionados que se están discutiendo; o tal vez estoy confundido debido a los dos hilos.

Para mí, lo primero es estar en la misma página cuando se discuten los conceptos, pero sobre todo, ponerlos en perspectiva. ¿Qué significan los conceptos de neutralidad, imparcialidad e independencia para los evaluadores, los gestores de la evaluación y los usuarios, para los beneficiarios? Como unos y otros pueden no tener la misma cultura, y también pueden no utilizar el mismo marco de generación de conocimientos, todos estos conceptos pueden tener significados diferentes.

Por lo tanto, la "descolonización" de las teorías y marcos de evaluación será crucial para el uso de estos conceptos y su interpretación.

Saludos

Thierno Diouf

Monitoring & Evaluation Specialist

UNFPA

Estimados todos,

Es difícil no estar firmemente de acuerdo con los argumentos de Oliver sobre la neutralidad frente a la utilidad. Una mayor inclusión y participación de las partes interesadas en el proceso de evaluación, junto con las condiciones suficientes que estimulen la "apertura mental" de los evaluadores hacia los diversos puntos de vista, son la clave del éxito para lograr la objetividad y, a su vez, para obtener un resultado de aprendizaje valioso. Es importante no olvidar a los usuarios finales de los resultados de la evaluación como "clientes" que esperan que el producto de la evaluación sea útil.  

Saludos,

Lasha

Estoy de acuerdo con Olivier y Silva, ya que hablan de una palabra de precaución contra una potencial radicalización de los enfoques de toma de decisiones basados en la evidencia. Esto no quiere decir que Malika haya caído en ese riesgo (puede que esté bien justificado que pida datos más objetivos para evaluar las cuestiones de género), pero permítanme decir que cuando planificamos una evaluación siempre debemos tener en cuenta dos cosas (entre otras muchas):

1) la complejidad inherente e irreductible de la evaluación, como ya se ha destacado en anteriores intervenciones;

2) el punto de partida: cuál es el nivel de datos/información/conocimiento que tenemos sobre el tema al inicio de una evaluación. Para la credibilidad de la evaluación es fundamental la capacidad del equipo de evaluación de absorber y sintetizar esta información para poner en perspectiva sus conclusiones.

Khalid El Harizi

Consultor de evaluación independiente

También estoy de acuerdo. No existe un ser humano o una metodología perfectamente neutral, y si eso es lo que pretendemos, estamos abocados al fracaso.

Lo mejor que podemos hacer es tratar de ser conscientes de nuestros propios sesgos, creencias y suposiciones, ser conscientes de las limitaciones y sesgos que implica tal o cual método, y tratar de lidiar con esas limitaciones y sesgos.

Así que, en lugar de decir que "una información imparcial ayudará a hacer las correcciones necesarias", yo diría que para que una evaluación sea creíble (y, por tanto, útil), todas las partes interesadas deben confiar en que los evaluadores y el proceso son ***razonablemente*** neutrales, es decir, que no están excesivamente influenciados por ninguna parte interesada en particular, que ninguna parte interesada es marginada o silenciada durante el proceso, y que los evaluadores no están atascados ideológicamente en un punto de vista concreto, sino que mantienen una "mente abierta" hacia varios puntos de vista e interpretaciones. En mi opinión, esto se acercaría más a un estándar de independencia de la evaluación más alcanzable que la objetividad perfecta.

Gracias,

Olivier

Estimados todos,

Gracias por las ideas que habéis aportado. El hecho de que los evaluadores estén física y emocionalmente distanciados del proyecto (si sugieres que sea una persona externa la que evalúe) puede no hacerlos neutrales, imparciales e independientes. Lo que quizás sea más importante es identificar indicadores objetivamente verificables y utilizar la triangulación de datos para comprobar la autenticidad de la información generada y utilizar una mezcla de métodos cualitativos y cuantitativos. 

Lo mejor,

Bamlaku Alamirew Alemu (Ph.D), CIPM, PMP

Profesor Asociado 

¡Saludos!

Después de los lúcidos comentarios de Silva Ferretti, sólo puedo decir que no puedo estar más de acuerdo.

Salud.

Lal.

La mayoría de las veces, los evaluadores son seleccionados debido a algunas conexiones y, cuando son seleccionados, esperan volver a serlo en el futuro. En este caso, el evaluador quiere dar una buena imagen para no quedar fuera en las próximas asignaciones. Al hacerlo, queda comprometido y eso afecta a la neutralidad, la imparcialidad y la independencia.   ¿Verdadero o falso?

1. La percepción de los receptores y de los gobiernos sobre los beneficios esperados de los resultados de la evaluación puede comprometer las pruebas, ya que si perciben que éstas pueden afectar a la imagen, le restan importancia si se trata de apoyo o recursos para la reunión, pueden exagerar.

2. La capacidad de los recopiladores de datos también puede afectar a la neutralidad, la imparcialidad y la independencia de las pruebas, especialmente en el caso de la recopilación de datos cualitativos que implican un sondeo en el que el recopilador de datos carece de medios.

Estimada Malika,

Seguro que tus ideas son buenas, pero recuerda que el evaluador está obligado a cumplir los Términos de Referencia, los valores fundamentales y las condiciones para los evaluadores.

Pero un evaluador está obligado a recopilar datos con imparcialidad y a comprender a todas las partes interesadas en el proyecto/programa, aunque no sea fácil. La imparcialidad, la equidad y la transparencia deben caracterizar al evaluador. La independencia y la equidad del evaluador son necesarias y deben guiar a todos.

Saludos cordiales,

¿Es realmente útil pretender que podemos ser neutrales e imparciales?

¿O es más útil saber que todos somos inherentemente parciales (y que nuestros enfoques lo son)... y que entonces es mejor ser abiertos y conscientes de ello, y de las limitaciones inherentes a todos nuestros enfoques?

Pensar que podemos tener la información "perfecta", en contextos que son complejos y desordenados es probablemente sólo un deseo.... :-)
 

Estimada Malika,

No podría estar más de acuerdo con los puntos que ha planteado. La independencia y una cobertura suficiente de datos/información son fundamentales para una evaluación creíble. Pero la otra cara de la moneda es que, por lo general, los evaluadores no disponen de tiempo/días suficientes ni de información completa (a pesar de las solicitudes) para ponerse en contacto con las partes interesadas, los beneficiarios, los grupos comparables y las personas potencialmente afectadas negativamente (esto es algo que falta gravemente en la mayoría de las evaluaciones) durante la evaluación. Esto hace que los procesos de evaluación no rindan cuentas a las personas para las que se planifican las intervenciones.  

Saludos cordiales,

-----------------------------------------
Ram Chandra Khanal

Estimados todos,

La imparcialidad, la neutralidad y la independencia del evaluador son cualidades necesarias en la evaluación. Por lo tanto, lo ideal es que todas ellas se observen en el proceso de evaluación. Lamentablemente, no requieren el mismo nivel de atención ni son siempre fáciles de cumplir en todos los niveles del proceso. La imparcialidad es aplicable en todos los niveles del proceso de evaluación: determinación del alcance, planificación de la recogida de datos e información, validación de las herramientas de recogida, recopilación de datos e información, análisis de los datos e información recogidos, interpretación y retroalimentación de los resultados, elaboración de informes, restitución de resultados y recomendaciones. La neutralidad es necesaria, pero debe observarse sabiamente durante las entrevistas para evitar en lo posible la información sesgada y comprender mejor las respuestas recibidas. La etapa de recogida de datos e información requiere que el evaluador utilice sus conocimientos previos y su experiencia en el campo para comprender mejor las respuestas y recoger la información. Por lo tanto, sería un error registrar ingenuamente todas las respuestas proporcionadas sin indagar más si es necesario. El aspecto más difícil es la independencia del evaluador. Esto significa independencia administrativa, política y, sobre todo, financiera. Es este aspecto el que pone a prueba al consultor, sobre todo si la persona que financia la misión de evaluación era directamente responsable de la ejecución del proyecto y, por lo tanto, le gustaría tener un buen resultado a toda costa. En estas condiciones, la tendencia a presionar al consultor es considerable. Así, dependiendo del grado de dependencia y de la voluntad del financiador/comisario, en algunos casos desafortunados el evaluador puede tener que reducir su neutralidad e imparcialidad para permitir que la misión se lleve a cabo, si no quiere abandonar la misión por completo.

Gracias.

==========
Dr Ir. Emile N. HOUNGBO

Maître de Conférences des Universités (CAMES), Agroéconomiste

Directeur, Ecole d'Agrobusiness et de Politiques Agricoles, Université Nationale d'Agriculture, Bénin

Expert, Elaboration et suivi-évaluation des projets de développement

Membre, Communauté de pratique sur l’évaluation pour la sécurité alimentaire, l’agriculture et le développement rural (EVAL-ForwARD), FAO/CGIAR/PAM/FIDA

05 BP 774 Cotonou (Republic of Benin)

Tel. (229) 67763722 / 95246102
E-mail: enomh2@yahoo.fr

https://www.researchgate.net/profile/HOUNGBO_E

https://www.leabenin-fsauac.net/en/profiles/emile-n-houngbo/

« Le bonheur de ne pas tout avoir ».