Podemos aprender mucho más del seguimiento y evaluación de proyectos agrícolas

Podemos aprender mucho más del seguimiento y evaluación de proyectos agrícolas
17 contribuciones

Podemos aprender mucho más del seguimiento y evaluación de proyectos agrícolas

© Bernard Crenn

El seguimiento y evaluación (SyE), el seguimiento, evaluación, rendición de cuentas y aprendizaje (MEAL, por sus siglas en inglés), el seguimiento, evaluación y aprendizaje (MEL, por sus siglas en inglés), el seguimiento, evaluación, investigación y aprendizaje (MERL, por sus siglas en inglés), el seguimiento y gestión de resultados (MRM, por sus siglas en inglés) o como lo quieran denominar, son metodologías que deberían ayudarnos a aprender de la experiencia. Lamentablemente, no siempre es así.

Resulta irónico que sistemas supuestamente diseñados para ayudarnos a extraer enseñanzas hayan sido tan reacios a aprender de sus propias experiencias. En mi opinión, esto se debe en gran parte al aislamiento del SyE en programas y proyectos, al trabajo compartimentado y a la recopilación de datos que no fundamentan o facilitan las decisiones de gestión. Se trata de una conclusión de un informe del Banco Mundial de 1994 sobre SyE de la agricultura.

Aumentar los beneficios de la producción es el resultado esperado de cualquier proyecto agrícola que proporcione apoyo directo a los campesinos, al igual que cualquier programa de desarrollo de sistemas de mercado. Sin embargo, cualquier persona con nociones básicas de estadística sabe que determinar tendencias de rendimiento y producción de sistemas agrícolas de secano de pequeños productores durante los periodos de ejecución de la mayoría de proyectos es prácticamente imposible. Y atribuir la evolución a estas intervenciones resulta más inviable si cabe.

No obstante, estas mediciones imposibles se siguen incluyendo en los resúmenes de las actividades de SyE de los proyectos. Y donantes y gestores las siguen considerando válidas. Estos esfuerzos son metodológicamente complejos y llevarlos a cabo de forma adecuada requiere mucho tiempo. Los costes de oportunidad de analizar estos indicadores no son insignificantes. Es más fácil aprender otras cosas de los agricultores: cómo valoran la ayuda, de qué forma responden a ésta, en qué medida varían estos aspectos y cómo se forja una relación más estrecha con los responsables y el personal de campo que se ocupan de estas tareas. La información sobre los cambios en las prácticas de producción agrícola es más importante para la toma de decisiones de gestión de proyectos. Es por ello que debe prevalecer a la medición de las supuestas consecuencias de estos cambios.                                                  

Pueden consultar mi experiencia en este artículo.

¿Qué piensan ustedes? Me encantaría conocer otras experiencias ...

 

Esta discusión ha terminado. Por favor póngase en contacto con info@evalforward.org para más información.
  • Estimados todos

    Muchas gracias por vuestras útiles aportaciones. Son debates muy agradables y reflejan los méritos y deméritos de los sistemas MEAL. Sé que habéis tratado la mayoría de las ideas y experiencias. Sólo hay que tener en cuenta algunos puntos basados en nuestra experiencia práctica:

    1. Es necesario desarrollar una cultura de comprensión de que MEAL está diseñado para apoyar una mejor toma de decisiones basada en la evidencia y no para espiar o encontrar errores.

    2. MEAL y el programa deben trabajar juntos, no de forma aislada, y los resultados de las actividades de MEAL deben utilizarse para mejorar y tomar decisiones que satisfagan las necesidades y lagunas existentes, y no como dice Emma Nthandose Gausi: "En la mayoría de los proyectos/programas, el proceso de seguimiento y evaluación se ha relegado a una actividad de recopilación y procesamiento de datos. Y estos datos/información se hacen siempre para satisfacer los requisitos de los donantes. El aprendizaje en materia de seguimiento y evaluación debería ser prioritario a lo largo de todo el ciclo del proyecto". https://www.evalforward.org/members/emma-gausi 

    3. Para obtener información fiable y precisa de las partes interesadas en las comunidades, como los agricultores o cualquier otro, 1. compartir información clara sobre todo lo que hacemos en nuestras intervenciones, (información necesaria como el objetivo del proyecto, la durada, los criterios de selección, los beneficios y el cambio que obtendrán las comunidades), 2. participación real e implicación de las personas destinatarias desde el diseño hasta el cierre de nuestros proyectos. 

    4. Aumentar la defensa de los valores humanitarios, los principios y los principios de rendición de cuentas para que las partes interesadas participen en el cambio/adaptación de las políticas locales y la comprensión para mejorar la calidad y la práctica, la cooperación y la aceptación. 

    Gracias

     

  • Estimados miembros,

    Muchas gracias por sus variadas y provechosas contribuciones. Basándome en ellas, he elaborado un resumen con algunas observaciones finales. Espero que les resulte útil.

    Para que el seguimiento sea provechoso, no debe encomendarse a expertos teóricos conocedores de las diferentes metodologías y propensos a emplear un lenguaje demasiado complicado. Probablemente no sean las personas más apropiadas para evaluar los resultados. Como es lógico, esto incomoda a muchos responsables y miembros de los equipos.

    Como algunos de ustedes han mencionado, las actividades de seguimiento y evaluación (SyE) suelen generar una gran cantidad de datos numéricos y comparaciones que proporcionan poca información sobre los resultados. Más bien, se utilizan para justificar la inversión, e incluso pueden ofrecer una imagen distorsionada de la realidad. Los responsables deben ocuparse del seguimiento: han de encontrar medidas —cualitativas y cuantitativas— que vayan más allá del presupuesto corriente y los resultados precedentes; y deben plantear preguntas cuyas respuestas determinen cuál es la mejor manera de que el programa/proyecto atraiga y retenga a clientes/beneficiarios en el futuro.

    Cinco conclusiones de la discusión a modo de consejos: 

    1. Evite trampas para incautos en el diseño
    1. Cualquier cambio requiere tiempo. Sea realista a la hora de definir los resultados (qué cambios se producirán en los comportamientos y las relaciones entre los grupos de clientes) y los efectos (qué consecuencias a largo plazo generarán dichos cambios fuera de la zona geográfica del programa y/o en las vidas y medios de subsistencia de los agricultores).
    2. En el caso de programas de sistemas de mercado: a) los sistemas agrícolas también son sistemas y requieren un diagnóstico adecuado; b) no haga referencia prematura al cambio a nivel de sistema durante la fase piloto, a fin de tratar los efectos como si solamente estuvieran relacionados con el cambio a nivel de agricultor; y c) por definición, la fase de atracción de la inversión tiene una serie de efectos en una dimensión geográfica o espacial: observarlos en los plazos preestablecidos del proyecto suele ser difícil, no digamos ya “medirlos”. Aquí puede encontrar un documento “descafeinado” que muestra cómo el enfoque M4P (lograr que los mercados favorezcan a la población pobre) extrae sus propias enseñanzas.
    3. Asegúrese de que los resultados y sus indicadores reflejan las necesidades y aspiraciones de las personas necesitadas, no de los donantes. Por ejemplo, no asuma que todos los agricultores desean obtener mayor rentabilidad de la tierra (es decir, incrementar el rendimiento/productividad).  A menudo, la mano de obra es el factor limitante, no la tierra.
    1. Distinga las competencias en materia de seguimiento de las de evaluación
    1. Explique claramente cómo el seguimiento se basa en ayudar a los responsables a resolver cualquier duda —habitualmente hipótesis— en el proceso de toma de decisiones dando respuesta a diferentes preguntas. Y al hacerlo, distíngalas claramente de aquéllas que suelen estar formuladas por los donantes y para cuya respuesta los evaluadores —a menudo con experiencia previa en el ámbito de la investigación— están capacitados.
    2. Utilice la analogía entre la rendición de cuentas y la auditoría y el seguimiento y la evaluación para diferenciarlas. El SyE se llevan a cabo por motivos diferentes, en momentos distintos, y por y para personas diferentes. Usted puede ser el “mejor” evaluador elaborando métodos, presentando ponencias en conferencias, publicando artículos, dando clase o asistiendo a un curso de SyE. ¿Estas aptitudes y experiencias le convierten en el “mejor” evaluador en materia de seguimiento? No, no necesariamente. De hecho, es muy poco probable. Sin embargo, resulta sorprendente cuánta influencia tienen la evaluación y los evaluadores en la práctica del seguimiento (¿y en la evaluación del desarrollo?).
    1. Negocie las necesidades de información con los donantes
    1. Defina claramente qué información se necesita para gestionar la implementación, encontrando un equilibrio entre la rendición de cuentas al cliente y —en igual o mayor medida— al financiador. Hágalo antes de elaborar una teoría del cambio y/o un marco de resultados.
    2. Centre estas necesidades de información en las percepciones de los clientes y en su acogida y aceptación/rechazo del proyecto. Rendir cuentas ante ellos facilitará el aprendizaje, más que hacerlo antes los financiadores y conocer sus problemas administrativos.
    3. No limite las necesidades de información de responsables y clientes a indicadores de un marco lógico y no elabore un plan de “medición” o “SyE” a ciegas. Hacerlo deteriorá la calidad del seguimiento. Cuando trabaje en entornos operativos impredecibles, tenga en cuenta que las hipótesis/lo desconocido suelen ser más importantes para el seguimiento que los propios indicadores.  Y: “Mejorar las cifras del año pasado no es lo importante; un sistema para medir los resultados debe indicarle si las decisiones que está adoptando ahora van a ayudarle a usted —y a quienes proporciona apoyo— en los próximos meses[1].
    1. Integre el proceso de seguimiento en los procesos de otras personas
    1. Incluya en las descripciones de los puestos de trabajo de quienes prestan apoyo preguntas que puedan utilizar para relacionarse con los clientes y aprender más de ellos (véase el apartado 3a) más arriba).
    2. Utilice el cálculo de costes basado en actividades para animar a los especialistas financieros a trabajar con quienes se encargan de obtener los resultados. Le ayudará a calcular el coste de las actividades y a vincular el seguimiento financiero y no financiero (y a responder a preguntas sobre optimización de recursos, en caso necesario).
    3. Para tomar buenas decisiones en materia de gestión es preciso elegir. Y la información de seguimiento debe fundamentar este proceso. La decisión de dejar de hacer algo —o de hacerlo de forma diferente— se debe analizar con el mismo nivel de detalle que la determinación de hacer algo completamente nuevo.
    1. Sea curioso y hágalo sencillo
    1. Ignore los principios asociados a dogmas metodológicos rígidos o convencionales. Tal y como algunos de ustedes han mencionado, hay mucho material verdaderamente útil. No sólo antiguo, también reciente. Atrévase a pensar por sí mismo...
    2. Hágalo sencillo. No se complique con modas pasajeras y jerga incomprensible que aíslan al seguimiento.

    “Si no puede explicar algo de forma sencilla, entonces no lo entiende suficientemente bien”.

  • Estimado Richard
    Gracias por facilitarnos el enlace a sus reflexiones sobre M&E. Una lectura reveladora y que invita a la reflexión. Me ha gustado especialmente, aunque me ha sorprendido, la persistencia de las cuestiones que planteas, en particular

    # 3 Sobre la limitada consecuencia de las parcelas de investigación (¿en la explotación?) respecto a la difusión de la práctica/tecnología en las otras parcelas del agricultor y/o entre otros agricultores de la comunidad.

    Todo esto se enfrenta a la investigación de sistemas agrícolas, centrada en el pensamiento sistémico, y al trabajo de Chamber sobre el agricultor primero, que se remonta a la década de 1980. ¿Cómo podemos recordar estas y otras lecciones a las personas relacionadas con los actuales programas de sistemas de mercados agrícolas?

    # 4 Sobre cómo los donantes asumen que la tierra, y no la mano de obra, es el factor limitante, siendo el indicador iletrado de la elección el rendimiento físico o financiero de la tierra, sin molestarse en averiguar por qué cultivan qué los pequeños agricultores.

     Su referencia, más adelante en el documento, al poema de Kipling "White Man's Burden" (La carga del hombre blanco) me recordó el libro de William Easterly con el mismo título (prestado). Su mensaje central trata de la imposición por parte de Occidente de grandes planes ideados por "amigos de África": la Comisión África de Tony Blair, las Aldeas del Milenio de Sachs y el programa Feed the Future de Obama. En agricultura, a diferencia de la sanidad y la educación, los agricultores no son pacientes tratados por médicos ni alumnos enseñados por profesores, sino que son los expertos.

    La semana pasada hubo un interesante seminario web de UNEG promovido por EvalForward sobre Evaluación y Resiliencia Climática. Una cosa que me interesó fue lo poco que revelaban las evaluaciones sobre la agricultura autóctona "climáticamente inteligente". El término parece limitarse a una práctica que se introduce en las comunidades agrícolas sin que necesariamente se aprenda cómo, por ejemplo, los conceptos indígenas de la dinámica de la humedad del suelo podrían explicar las fluctuaciones estacionales e interanuales contrastadas en la productividad agrícola, la nutrición, la salud, la mortalidad e incluso las tasas de matrimonio a través de un límite de tipo de suelo.    

    #11 Sobre cómo el M&E trata más bien de encubrir el fracaso y su adecuación a las expectativas de los contribuyentes. Las (descerebradas) Máquinas de Evaluación de Peter Dahler Larssen definen un ejemplo de dios de a lo que creo que te refieres aquí.  Él y Estelle Raimondo presentaron una gran exposición de la práctica actual de la evaluación en la Conferencia Europea de Evaluación del año pasado. En cuanto a la cuestión de los contribuyentes, hace unos años se llevó a cabo una interesante investigación que puso de relieve que los contribuyentes británicos no quieren cifras, sino historias sobre cómo y por qué la ayuda funciona o no. La cuestión es que el DFID no rinde cuentas al contribuyente británico, sino al Tesoro (que quiere cifras). Los números, como dicen Dahler-Larden y Raimondo, son uno de los puntos ciegos de las evaluaciones. 
     
    Disculpas por el desvarío del lunes por la tarde, y gracias de nuevo por colaborar con tus escritos.

  • En un post anterior ofrecí la sección de seguimiento y evaluación de un documento más amplio que estoy preparando para reflexionar sobre mis más de 50 años de asistencia a comunidades de pequeños agricultores. El documento completo ya está disponible en el sitio web smallholderagriculture que administro (en inglés). Tenga en cuenta que el material se centra más en la exactitud de los hechos que en ser políticamente correcto. El enlace directo es:  

    https://agsci.colostate.edu/smallholderagriculture/wp-content/uploads/s…;

    Espero que tengan la oportunidad de revisarlo y les proporcione ideas sobre cómo prestar un mejor servicio a las comunidades de pequeños agricultores. Muchas gracias.

  • Gracias a todos por dedicar vuestro tiempo a compartir vuestras experiencias y puntos de vista. Basándome en sus comentarios, publicaré algunas conclusiones y consejos cuando se cierre el debate la semana que viene. 

    Mientras tanto, quería dar algunas respuestas iniciales extraídas de vuestros comentarios.

    1. El truco para que el seguimiento sea útil es no dejarlo en manos de personas que no sean jueces naturales del rendimiento, ya sean empleados de organismos donantes o sus agentes. Personas que se desenvuelven con facilidad en el desarrollo de marcos y teorías del cambio, utilizan un lenguaje excesivamente complicado y están versadas en toda una serie de metodologías en las que insiste el donante. Es comprensible que esto desanime a muchos miembros del equipo y directivos. Parece aburrido y oneroso. Tanto es así que, para algunos, ni siquiera está claro que se trate de una profesión. ¿Quizás el seguimiento no sea más que un proceso de aprendizaje artificial propio de la ayuda al desarrollo?

    2. La moda de añadir más letras al acrónimo M&E, como L - Aprendizaje, A - Responsabilidad, R - Resultados, parece ser más por afecto que por efecto. Yo, como algunos de ustedes, me pregunto por qué algunos consideran esto revelador o útil. Define la fatuidad en la que algunos de nosotros nos afanamos.

    3. También distrae de la característica más importante que muchos de ustedes señalan. Escuchar y aprender de los que más importan: los clientes o beneficiarios finales. Ellos son también los expertos. Con demasiada frecuencia, sus voces y objetivos se ven desplazados por los de los donantes, que suelen establecerse en marcos lógicos o de resultados. La rendición de cuentas a los donantes, y no a los beneficiarios, parece ser más habitual de lo que cabría esperar o desear, y al ser así resulta gravosa para otras partes interesadas.

    4. Como algunos de ustedes han mencionado, el resultado inevitable es un cúmulo de cifras y comparaciones que aportan poca información sobre el rendimiento. Algunas incluso exigen suspender la creencia dados los periodos típicos de aplicación. Más bien suelen utilizarse para justificar la inversión ante los donantes, e incluso pueden ofrecer una imagen distorsionada de la realidad. Superar las cifras del año pasado no es el objetivo.

    5. Los gestores deben responsabilizarse del seguimiento: encontrar medidas, tanto cualitativas como cuantitativas, que vayan más allá del presupuesto actual y los resultados anteriores y planteen preguntas. Preguntas que revelen respuestas que ayuden a determinar cómo el programa o proyecto puede sintonizar y responder mejor para "aterrizar" mejor o ser aceptable para los clientes beneficiarios en el futuro.  

    Muchas gracias de nuevo y, por favor, si hay más contribuciones o respuestas a lo anterior...

    Con mis mejores deseos y buenos fines de semana,

    Daniel

  • ¡Excelente comentario Nayeli! Pero aún hay un camino a recorrer para implantar la cultura de M&E en los proyectos, programas y políticas en nuestros países (hablo desde Uruguay). En mi país recién desde hace pocos años hay una Agencia de Evaluación de las dependencias del Poder Ejecutivo en el Estado (en eso creo que México está más avanzado, ya que FAO brindaba un servicio de evaluación independiente de políticas públicas hace algunos años). En el Poder Legislativo están planteándose la mejor forma de avanzar en el M&E de su trabajo.

  • Lo siento, pero me gustaría discrepar de los comentarios de Ablaye Layepresi Gaye sobre la falta de experiencia y conocimientos de los agricultores. Me pregunto si lo que observa es realmente el impacto de una capacidad operativa limitada para cumplir las recomendaciones. ¿Puede confirmar que los agricultores tienen acceso a mano de obra suficiente para llevar a cabo las diversas actividades de gestión de los cultivos en los plazos deseados? Es decir, 300 horas-persona diligentes por hectárea para la preparación manual (azada) de la tierra. ¿Dispone esta mano de obra de la dieta necesaria de 4.000 kcal/día que le permita realizar una jornada completa de trabajo agronómico en el campo, o está limitada a 2.000-2.500 kcal/día, lo que, tras restar 2.000 kcal/día para el metabolismo básico, sólo deja unos cientos de kcal/día para la mano de obra, que a 280 kcal/hora es suficiente para unas dos horas de esfuerzo diligente? Así pues, lo que él objeta son los compromisos racionales que tienen que hacer los agricultores para ajustar la recomendación a su limitada capacidad operativa. En lugar de insistir en que los agricultores reciban información de la que ya tienen un conocimiento razonable, pero no los recursos para utilizarla, ¿sería mejor facilitarles el acceso a recursos operativos adicionales que les permitan cumplir más fácilmente las prácticas de gestión deseadas? Se trata de un ámbito que tradicionalmente se pasa por alto y que cae en un vacío administrativo entre los agrónomos y los científicos sociales que ayudan a las comunidades de pequeños agricultores. Consulte las siguientes páginas web (en inglés):

    https://agsci.colostate.edu/smallholderagriculture/wp-content/uploads/s…;

    https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFe…

    https://agsci.colostate.edu/smallholderagriculture/calorie-energy-balan…

    Gracias

  • El proceso de implementación de los esquemas M&E ha sido reciente, tal vez los últimos 6 o 7 años ya de manera formal. La situación en países que somos sujeto de proyectos de desarrollo rural y conservación desde donantes internacionales, como México, es que las capacidades instaladas responden a los requisitos de los donantes y no a perfiles consolidados. Es muy interesante que en México  y LATAM, el desarrollo de M&E ha sido enfocado a programas en DDHH, economía y educación. 

    A mi me parece que como sector deberíamos utilizar más las herramientas desarrolladas desde las agencias de ONU enfocadas al desarrollo rural (FAO, WFP, IFAD), pero se lograría aún más su transversalización si desde estas agencias se buscara la promoción con los gobiernos e impulsarlos como el referente a seguir.

  • Hoy en día, el verdadero problema que observamos tras un largo seguimiento y evaluación en el sector agrícola es la falta de experiencia de los agricultores, pero sobre todo la falta de conocimientos básicos, que es algo que hay que rectificar.

     

  • Es un debate interesante. Creo que la mayoría de las veces, al diseñar sistemas de seguimiento y evaluación, no reflexionamos sobre cómo el proceso de seguimiento y evaluación beneficiaría a todo el espectro de partes interesadas en una intervención, especialmente a los agricultores. En la mayoría de los proyectos/programas, el proceso de seguimiento y evaluación se ha relegado a una actividad de recopilación y procesamiento de datos ÚNICAMENTE. Y estos datos/información también se hacen siempre para satisfacer los requisitos de los donantes. El aprendizaje en S&E debe priorizarse a lo largo de todo el ciclo del proyecto. Suele haber poco o ningún "seguimiento y evaluación" de los sistemas de seguimiento y evaluación en nuestras intervenciones que nos ayuden a comprender si son eficaces. He visto algunas evaluaciones de agricultores en las que éstos participaban en algunas actividades de seguimiento y evaluación con fines de aprendizaje. Pero la mayoría de las veces, los agricultores no lo valoran porque es una actividad impuesta. No entienden qué y por qué están llevando a cabo el proceso, ya que les parece que se les está imponiendo.

  • Estimado Daniel,

    Gracias por iniciar este debate. Según mi experiencia, los organismos de desarrollo asociados siguen utilizando indicadores de impacto a largo plazo que probablemente no se alcancen una vez finalizado el proyecto y que se utilizan para fundamentar las decisiones. El reto es, por supuesto, que el verdadero impacto lleva tiempo, las intervenciones pueden proporcionar bloques de construcción sobre los que el impacto se realizará en alguna fecha futura. No podemos modelizar los choques que tienden a afectar a los indicadores a largo plazo. Como usted ha señalado correctamente, los métodos y datos para medir esto de forma creíble son caros. Es evidente que muchos interlocutores no están dispuestos a sufragar los costes. La solución alternativa son las evaluaciones menos creíbles, que se llevan a cabo principalmente siguiendo el modelo de "todo sigue igual" para marcar las pautas de los procesos.

    Un aspecto clave que funciona, sobre todo si se hace un seguimiento prolongado de las personas, es compartir tanto los datos como los conocimientos. Nuestra Institución comparte datos en un esfuerzo por mejorar el aprendizaje a lo largo del tiempo, sobre todo porque los indicadores clave, como la adquisición de conocimientos y el cambio de comportamiento, no pueden observarse a corto plazo.

  • Estoy totalmente de acuerdo con la valoración que hace Daniels del proceso de seguimiento y evaluación. Demasiado a menudo se utiliza como herramienta propagandística para promover programas que, según la mayoría de las normas, son casi un fracaso total. Esto puede hacer maravillas para conseguir prórrogas de proyectos y proyectos futuros, pero no hace nada por los beneficiarios. Hay que reconocer que, si bien el SyE puede documentar el proceso de un proyecto, las dos contribuciones más importantes del SyE son:

    1. Proporcionar orientación a futuros proyectos para servir mejor a los beneficiarios, y

    2. Ser la única voz real de los beneficiarios, ya que la mayoría de los proyectos eran más de imposición que de colaboración, dejando a los beneficiarios sólo voz en la medida en que participan o evitan los proyectos. El proceso de SyE debe identificar plenamente este aspecto.

    Un aspecto a tener en cuenta es el grado en que las actividades de SyE informan de resultados agregados o porcentuales. Los resultados agregados serían más una indicación de la agenda propagandística, mientras que los resultados porcentuales serían más un análisis orientativo que podría llevar a mejorar los programas.

    Hace un par de semanas, mi universidad patrocinó un simposio internacional en el que presenté una ponencia titulada "Reflexiones sobre más de 50 años de ayuda a las comunidades de pequeños agricultores". También he preparado una reseña completa de la presentación que se publicará en breve en mi sitio web: https://smallholderagriculture.agsci.colostate.edu/ .

    La presentación contiene un importante debate sobre seguimiento y evaluación que extraigo a continuación (en inglés). Espero que les resulte útil y les ruego que aporten los comentarios o datos complementarios que consideren oportunos.

    Enlace al extracto (en inglés) 

  • Por supuesto, no cabe duda de que en África y en el mundo en general falta capacidad en materia de seguimiento y evaluación, no sólo para proyectos o programas agrícolas. Pero esto se debe en parte a que muchos de nosotros no queremos aprender por nuestra cuenta utilizando los vastos programas de Internet. Al igual que en el caso del seguimiento, existe mucha bibliografía sobre evaluación; por ejemplo, muchos de nosotros deberíamos interesarnos por los escritos de Michael Quin Patton, el fundador de la evaluación centrada en la utilización, que les sorprenderá, así como por sus debates sobre los sistemas frente a los marcos en la medición del rendimiento. Y, por último, lean la literatura del OECD /DAC y adáptenla a su ámbito de intervención.

    Sin embargo, para mí es importante contextualizar el debate para provocar la necesidad de documentar el aprendizaje de los proyectos de agricultura para abordar la brecha de conocimiento y poder replicar lo procesado en todo el mundo.

    Muchas gracias

    Francis

  • Estimado Daniel y otros miembros de Evalforward,

    La evaluación se ha desarrollado y utilizado principalmente de forma mecánica y ha servido sobre todo para marcar objetivos (rendición de cuentas a los donantes) más que para aprender y mejorar. Ahora sabemos que los indicadores y el llamado "marco lógico" resultan más o menos redundantes en las complejas situaciones en las que se desarrollan la mayoría de los proyectos agrícolas.

    Permítanme compartir mi experiencia reciente. Formo parte de un equipo encargado de evaluar la contribución del apoyo presupuestario con una pequeña Asistencia Técnica (intervención de 3 años) de un donante al gobierno para aplicar una estrategia nacional de desarrollo agrícola en uno de los países del sur de Asia. Como evaluador, he observado las siguientes cuestiones durante el proceso de evaluación:

    a) El "apoyo presupuestario" se proporciona al tesoro público y no se destina al sector agrícola. En este caso, existe una elevada posibilidad de fungibilidad. No sabemos si el sector que recibió el fondo tiene la oportunidad de tener un trabajo incremental. Y cómo evaluar la contribución.

    b) El contrato de financiación contenía objetivos ambiciosos y no pertinentes: El programa tiene seis objetivos con hitos anuales que deben cumplirse para obtener el fondo. Estos objetivos no sólo son ambiciosos para los 3 años de intervención, sino que también están fuera del alcance del Ministerio de Agricultura. Por ejemplo, la disminución del porcentaje de retraso del crecimiento y el aumento del porcentaje de propiedad de la tierra por parte de las mujeres a nivel nacional. No se trata de una intervención directa del ministerio de agricultura y hay muchos otros responsables principales que contribuyen a lograrlo en un largo periodo. Tampoco existen mecanismos adecuados de coordinación y colaboración entre los ministerios y los organismos gubernamentales para obtener información/progresos. Además, no existen sistemas de gestión y evaluación para recopilar datos a nivel subnacional.

    c) La estructura de gobierno también ha pasado de ser unitaria a federal. Los tres niveles de gobierno funcionan cada uno por su cuenta sin disponer de mecanismos adecuados de coordinación e información. Las instituciones y las políticas están en proceso de desarrollo, pero existe un grave déficit de capacidad. En este caso, al ministerio le ha resultado difícil recopilar datos y elaborar informes.

    En este contexto, el marco lógico sigue ahí sin revisarse y se pide a los evaluadores que valoren la contribución del fondo en esos indicadores/objetivos. Tanto los organismos de ejecución como los donantes siguen intentando atribuir el impacto del fondo, lo que es como "sacar agua de un pozo". Tal vez todavía quede mucho por hacer para que el enfoque de gestión y evaluación sea más contextual y útil.  
    Estamos de acuerdo: "tropezamos de nuevo con la misma piedra" y "repetimos", por desgracia.  

    Ram Chandra Khanal, Doctor
    Evaluador independiente, Katmandú, Nepal

  • Gracias por compartir Daniel, Estoy de acuerdo en mucho de lo compartido, creo es muy importante tu aporte. Quien escribe ha estado vinculada al M&E desde hace años en proyectos de desarrollo - en áreas urbanas -, y coincido en que en lugar de ir acercando las diferentes etapas del ciclo de proyecto, en un intento por separar y especializar - no entiendo bien por qué -, se han ido "añadiendo" especializaciones como "aprendizaje" (que es parte del Monitoreo) y rendición de cuentas (que es parte del Monitoreo y principalmente de la Evaluación), esto último pues si hablamos de desarrollo, mejora de condiciones de producción y vida, necesariamente hay que que "devolver" al grupo destinatario todo lo actuado.

    Quisiera añadir que - en mi opinión -, hay un paso que posiblemente se obvia: el equipo que interviene debe conocer que se va a hacer, cómo se va medir y cuándo se va a medir, no sólo como acciones y actividades que pueden verse aisladas, sino como contribuyen a la cadena de valor. Es ahí donde empieza el monitoreo, es ahí donde se aprende (en el lado de los ejecutores), es ahí donde se aprende a rendir cuentas. 

    Hemos teorizado demasiado en un esfuerzo de mejora continua, pero creo que ello no ayuda. Coincido que mas importa conocer la percepción del grupo destinatario pues ahí podremos saber si hemos contribuido a la sostenibilidad del proyecto (si se que ésta se mide después de la intervención), pero los estudios cualitativos nos hablan de la recepción, aceptación y apropiación del proyecto al cierre del mismo, esta información nos dirá que deberíamos hacer...

    Lo anterior si, entra en colisión a veces con los donantes, quienes financian por determinados periodos que no siempre permiten la aprpiación cultural de la intervención. (Es otro tema). 

  • Interesante contribución Grace: Seguimiento y Aprendizaje (S&A) como parte de la implementación, y Evaluación e Investigación (E&I) (no estoy seguro por qué I...) más tarde en el tiempo por diferentes equipos. Tiene sentido.

    Desde mi experiencia (y vengo del sector público, nacional e internacional) ya se asume que en cualquier proyecto hay que llevar a cabo lo que has llamado el trabajo de S&A, pero es difícil incluir de forma significativa E&R de forma que suponga una contribución real para (i) los actores del proyecto, (ii) la organización ejecutora, y (iii) la organización financiadora. Creo que hay una gran oportunidad de mejorar en este aspecto (S&E: calendario, contribución a quién).

    Saludos

    Vicente

  • Desde mi punto de vista, "eso" (M&E, MEAL, MEL, MRM, MERL) sigue siendo poco eficaz en términos de aprendizaje y contribución a las mejoras porque no es realmente una práctica profesional identificable y es conceptualmente confusa, lo que la hace confusa en la práctica. La primera vez que oí hablar de seguimiento y evaluación (yo procedía del sector privado), recuerdo que pensé "¿eso existe? Porque sonaba como si en el sector privado hubiéramos creado algo llamado Contabilidad y Auditoría (A&A) y lo hubiéramos tratado como si fuera una tarea profesional. Por muy entusiastas que seamos, se trata de dos cosas distintas pero complementarias, que se hacen en momentos distintos, con fines distintos y por personas distintas. Esta misma lógica se aplica al seguimiento y la evaluación. Saber si las actividades se están llevando a cabo según lo previsto, conocer cómo está "calando" entre la población destinataria y (sobre todo) ajustar o descartar las que no están calando bien es la finalidad del seguimiento, es una actividad cotidiana y (sobre todo) forma parte integral de la ejecución de un proyecto. Por otro lado, saber qué cambios se han producido (y, si es posible, en qué medida como resultado del proyecto) es el propósito de la evaluación. la M y la E son cosas diferentes, que ocurren en momentos diferentes y por personas diferentes. Cuando las juntamos y esperamos que la M&E nos diga "qué impacto/diferencia estamos logrando", empezamos a tener el problema de dar prioridad a las medidas de consecuencias (o a la búsqueda de atribuciones para los que así lo deseen, lo que entra en el terreno de la investigación) en detrimento de la búsqueda y el suministro de información útil para tomar decisiones sobre lo que más importa, es decir, ejecutar los proyectos de la mejor manera posible por parte de los implicados, escuchar a las poblaciones para saber cómo/si el proyecto les está funcionando y ajustarlo en consecuencia. 

    Dicho esto, hay elementos de evaluación (con "e" minúscula, como decimos donde yo trabajo) que tienen lugar durante el seguimiento cotidiano. Esa "e" minúscula es la reflexión y el aprendizaje a partir de la información del seguimiento. Así que, en otro universo en el que todos estuviéramos dispuestos a descartar "eso" y empezar de nuevo, podríamos tener Seguimiento y Aprendizaje (S&A) como parte de la ejecución diaria del proyecto y luego Evaluación e Investigación (E&I) que se encarga en diferentes momentos, por diferentes personas.