RE: Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?   | Eval Forward

De nuevo, tenemos otro tema interesante, crítico y desafiante que comentar. Como he dicho anteriormente, la contribución más importante de cualquier evaluación de un proyecto es la orientación que proporciona a los futuros proyectos para que puedan servir mejor a los beneficiarios. Desgraciadamente, con demasiada frecuencia las evaluaciones se convierten en instrumentos de propaganda necesarios para apaciguar a los donantes y asegurar futuros proyectos, mientras que hacen poco o nada por los beneficiarios previstos.

Por lo tanto, aunque el comentario muestra un buen consenso sobre la importancia de la neutralidad-imparcialidad-independencia, el comentario también muestra que obtenerla puede ser muy difícil, ya que rara vez los proyectos proporcionan fondos para revisiones externas por parte de evaluadores independientes, pero si cuando los fondos están disponibles, los intereses creados en posibles asignaciones futuras, a menudo sesgarán la objetividad necesaria para ser lo suficientemente críticos con los resultados para guiar futuros proyectos.  

Una forma de minimizar el sesgo podría ser tener algunos objetivos claros y bien definidos que separen el éxito del fracaso del proyecto. ¿Ha visto alguien alguna vez un conjunto de criterios de evaluación que lo haga? Yo no. Este conjunto de criterios debe establecerse al principio del proyecto. También es necesario que se acerquen a lo que esperan los contribuyentes interesados en la suscripción y que se reflejen en los informes del proyecto. También es posible que deban expresarse en porcentajes de potencial, en lugar de en números agregados. Ya que cuando se hace hincapié en los números agregados se pueden generar valores muy impresionantes pero sin sentido que sólo reflejan el tamaño masivo de los proyectos y las inversiones, mientras que siguen teniendo un impacto total trivial. Esto es básicamente lo que refleja la evaluación de MEL de USAID. En cambio, el énfasis en el porcentaje del potencial dará una mejor evaluación de la eficacia del proyecto. Además, hay que recordar que la mayoría de los proyectos se definen por la comunidad a la que sirven y, por tanto, la evaluación debe reflejar el impacto comunitario más que el impacto individual.

Permítanme ilustrarlo con mi problema de desarrollo favorito. Se trata de los casi 40 años de dependencia excesiva de las organizaciones de productores para canalizar la ayuda a los pequeños agricultores. Aunque estoy de acuerdo en que las organizaciones de productores pueden ser socialmente deseables, también son engorrosas desde el punto de vista administrativo, lo que se traduce rápidamente en gastos generales, que pueden consumir con creces los beneficios financieros generales, por lo que depender de las organizaciones de productores obligará a los pequeños agricultores a sumirse más en la pobreza. Esto sin hablar de los súper inconvenientes de la comercialización en consignación en una sociedad altamente orientada al dinero en efectivo. Por ello, los agricultores las evitan de forma generalizada y prudente, de modo que necesitan continuas facilidades y subvenciones externas para existir, y luego se derrumban una vez que termina el apoyo externo. Sin embargo, el esfuerzo de desarrollo de la pequeña agricultura está totalmente empeñado en imponerlas a las comunidades, y en afirmar que son la salvación esencial para los pequeños agricultores, como lo demuestra la retórica que acompaña a cualquier presentación y que llevaría a creer que cualquiera es tonto si no participa.

Mi planteamiento es que antes de la discusión en mi clase de agricultura internacional sobre las organizaciones de productores, siempre pedía a los estudiantes, muchos de los cuales estaban interesados en el desarrollo internacional con planes de incorporarse al Cuerpo de Paz, que hicieran una lista de lo que creían que serían los valores mínimos de varios parámetros empresariales asociados a las organizaciones de productores y los comparaba con la mejor estimación que podía obtener escudriñando varios informes con algún cálculo sencillo. Los resultados están en la página web: https://agsci.colostate.edu/smallholderagriculture/request-for-informat… .

Se espera que las organizaciones de productores inscriban a más del 50% de los beneficiarios potenciales y que éstos comercialicen a través de la organización el 70% de su producción, mientras que la venta paralela es inferior al 10%. El resultado real es que sólo participan entre el 10 y el 15% de los agricultores, e incluso éstos venden la mayor parte de sus productos cuando es posible, por lo que el impacto total en la comunidad es un trivial >5%. No es lo que realmente se desea como proyecto exitoso.  Por favor, tómese unos minutos y revise la página web y algunas de las páginas enlazadas y proporcione comentarios en este foro. ¿Son los

  • Los criterios que sugiero son correctos para evaluar un proyecto que proporciona un servicio empresarial a los pequeños propietarios?
  • ¿Criterios incluidos alguna vez en una evaluación de un servicio empresarial para pequeños propietarios que usted conozca? Nunca he visto que se utilicen.
  • ¿Las expectativas de los estudiantes en cuanto a los valores mínimos son realistas desde el punto de vista de la suscripción?
  • ¿Los valores reales son correctos según su experiencia?
  • Si se promovieran estos resultados objetivo al principio, ¿permitirían que una evaluación independiente o incluso interna fuera más directa al criticar los resultados sin poner en peligro futuras oportunidades?
  • ¿Habría orientado los proyectos futuros a buscar medios más eficaces para ayudar a los pequeños agricultores a salir de la pobreza?

Creo que la persistencia en confiar en la organización de productores representa la falta de evaluaciones independientes o su compromiso. La escasa aceptación por parte de los pequeños agricultores debería haberse identificado hace décadas, y el esfuerzo de desarrollo debería haber pasado a identificar y aplicar opciones más eficaces. Esto representa entonces a los donantes que no tienen un interés sincero en ayudar a la difícil situación de los pequeños productores, sino que están totalmente comprometidos con imponerles este horrible modelo de negocio, en el que afortunadamente no son lo suficientemente crédulos como para caer. Lo mejor que se puede decir de esta práctica es que muestra una buena intención fácilmente publicitable sin lograr nada. Mi conclusión sobre las organizaciones de productores es que se trata de un verdadero escándalo de varias décadas y miles de millones de dólares, con algunas posibles responsabilidades graves por el encubrimiento.  ¿Me equivoco? Si hubiera habido un objetivo claro de lo que constituía el éxito frente al fracaso, ¿podría haberse evitado esto?

Algunas páginas web adicionales que entran en más detalle son

https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…

https://agsci.colostate.edu/smallholderagriculture/loss-of-competitive-…

https://agsci.colostate.edu/smallholderagriculture/vulnerability-for-cl…

Gracias.