RE: A lack of learning in the monitoring and evaluation of agriculture projects | Eval Forward

Estimados miembros,

Muchas gracias por sus variadas y provechosas contribuciones. Basándome en ellas, he elaborado un resumen con algunas observaciones finales. Espero que les resulte útil.

Para que el seguimiento sea provechoso, no debe encomendarse a expertos teóricos conocedores de las diferentes metodologías y propensos a emplear un lenguaje demasiado complicado. Probablemente no sean las personas más apropiadas para evaluar los resultados. Como es lógico, esto incomoda a muchos responsables y miembros de los equipos.

Como algunos de ustedes han mencionado, las actividades de seguimiento y evaluación (SyE) suelen generar una gran cantidad de datos numéricos y comparaciones que proporcionan poca información sobre los resultados. Más bien, se utilizan para justificar la inversión, e incluso pueden ofrecer una imagen distorsionada de la realidad. Los responsables deben ocuparse del seguimiento: han de encontrar medidas —cualitativas y cuantitativas— que vayan más allá del presupuesto corriente y los resultados precedentes; y deben plantear preguntas cuyas respuestas determinen cuál es la mejor manera de que el programa/proyecto atraiga y retenga a clientes/beneficiarios en el futuro.

Cinco conclusiones de la discusión a modo de consejos: 

  1. Evite trampas para incautos en el diseño
  1. Cualquier cambio requiere tiempo. Sea realista a la hora de definir los resultados (qué cambios se producirán en los comportamientos y las relaciones entre los grupos de clientes) y los efectos (qué consecuencias a largo plazo generarán dichos cambios fuera de la zona geográfica del programa y/o en las vidas y medios de subsistencia de los agricultores).
  2. En el caso de programas de sistemas de mercado: a) los sistemas agrícolas también son sistemas y requieren un diagnóstico adecuado; b) no haga referencia prematura al cambio a nivel de sistema durante la fase piloto, a fin de tratar los efectos como si solamente estuvieran relacionados con el cambio a nivel de agricultor; y c) por definición, la fase de atracción de la inversión tiene una serie de efectos en una dimensión geográfica o espacial: observarlos en los plazos preestablecidos del proyecto suele ser difícil, no digamos ya “medirlos”. Aquí puede encontrar un documento “descafeinado” que muestra cómo el enfoque M4P (lograr que los mercados favorezcan a la población pobre) extrae sus propias enseñanzas.
  3. Asegúrese de que los resultados y sus indicadores reflejan las necesidades y aspiraciones de las personas necesitadas, no de los donantes. Por ejemplo, no asuma que todos los agricultores desean obtener mayor rentabilidad de la tierra (es decir, incrementar el rendimiento/productividad).  A menudo, la mano de obra es el factor limitante, no la tierra.
  1. Distinga las competencias en materia de seguimiento de las de evaluación
  1. Explique claramente cómo el seguimiento se basa en ayudar a los responsables a resolver cualquier duda —habitualmente hipótesis— en el proceso de toma de decisiones dando respuesta a diferentes preguntas. Y al hacerlo, distíngalas claramente de aquéllas que suelen estar formuladas por los donantes y para cuya respuesta los evaluadores —a menudo con experiencia previa en el ámbito de la investigación— están capacitados.
  2. Utilice la analogía entre la rendición de cuentas y la auditoría y el seguimiento y la evaluación para diferenciarlas. El SyE se llevan a cabo por motivos diferentes, en momentos distintos, y por y para personas diferentes. Usted puede ser el “mejor” evaluador elaborando métodos, presentando ponencias en conferencias, publicando artículos, dando clase o asistiendo a un curso de SyE. ¿Estas aptitudes y experiencias le convierten en el “mejor” evaluador en materia de seguimiento? No, no necesariamente. De hecho, es muy poco probable. Sin embargo, resulta sorprendente cuánta influencia tienen la evaluación y los evaluadores en la práctica del seguimiento (¿y en la evaluación del desarrollo?).
  1. Negocie las necesidades de información con los donantes
  1. Defina claramente qué información se necesita para gestionar la implementación, encontrando un equilibrio entre la rendición de cuentas al cliente y —en igual o mayor medida— al financiador. Hágalo antes de elaborar una teoría del cambio y/o un marco de resultados.
  2. Centre estas necesidades de información en las percepciones de los clientes y en su acogida y aceptación/rechazo del proyecto. Rendir cuentas ante ellos facilitará el aprendizaje, más que hacerlo antes los financiadores y conocer sus problemas administrativos.
  3. No limite las necesidades de información de responsables y clientes a indicadores de un marco lógico y no elabore un plan de “medición” o “SyE” a ciegas. Hacerlo deteriorá la calidad del seguimiento. Cuando trabaje en entornos operativos impredecibles, tenga en cuenta que las hipótesis/lo desconocido suelen ser más importantes para el seguimiento que los propios indicadores.  Y: “Mejorar las cifras del año pasado no es lo importante; un sistema para medir los resultados debe indicarle si las decisiones que está adoptando ahora van a ayudarle a usted —y a quienes proporciona apoyo— en los próximos meses[1].
  1. Integre el proceso de seguimiento en los procesos de otras personas
  1. Incluya en las descripciones de los puestos de trabajo de quienes prestan apoyo preguntas que puedan utilizar para relacionarse con los clientes y aprender más de ellos (véase el apartado 3a) más arriba).
  2. Utilice el cálculo de costes basado en actividades para animar a los especialistas financieros a trabajar con quienes se encargan de obtener los resultados. Le ayudará a calcular el coste de las actividades y a vincular el seguimiento financiero y no financiero (y a responder a preguntas sobre optimización de recursos, en caso necesario).
  3. Para tomar buenas decisiones en materia de gestión es preciso elegir. Y la información de seguimiento debe fundamentar este proceso. La decisión de dejar de hacer algo —o de hacerlo de forma diferente— se debe analizar con el mismo nivel de detalle que la determinación de hacer algo completamente nuevo.
  1. Sea curioso y hágalo sencillo
  1. Ignore los principios asociados a dogmas metodológicos rígidos o convencionales. Tal y como algunos de ustedes han mencionado, hay mucho material verdaderamente útil. No sólo antiguo, también reciente. Atrévase a pensar por sí mismo...
  2. Hágalo sencillo. No se complique con modas pasajeras y jerga incomprensible que aíslan al seguimiento.

“Si no puede explicar algo de forma sencilla, entonces no lo entiende suficientemente bien”.