¿Cómo avanzamos en la evaluación en el sector de la agricultura?

Dear EvalForward Members,

I am pleased to share the summary of discussions on our previous topic: How do we move forward on Evaluation Systems in the Agriculture Sector?

Please find it attached for your information and reference. Apologies for the delay to share this. 

Once again thank you all for the very insightful contributions, we hope to build on these thoughts in support our efforts to build a strong National M&E System.

Very Best,

Judith K Katabarwa,

Vice President,

Rwanda M&E Organization

Estimados miembros de EvalForward,

Hemos cerrado nuestro debate sobre el tema "¿cómo avanzar en el Sistema de Evaluación en el sector de la Agricultura?"

Quisiera aprovechar esta oportunidad para agradecer a cada uno de ustedes por las muy útiles contribuciones al tema, cada contribución llegó con puntos de vista muy singulares pero muy perspicaces. 

Estamos trabajando en la síntesis de todas las contribuciones compartidas y deberíamos poder compartir pronto los puntos de vista consolidados. Confío en que beneficiarán a nuestros diversos sistemas de M&E de los países, específicamente en el sector agrícola.

Saludos cordiales,

Judith

¡Buneos dias!

La incorporación de la evaluación en las políticas nacionales enfrenta varios desafíos. No es muy fácil distinguir claramente las diferencias en la evaluación a nivel nacional, regional y local, es decir, a nivel de campo. Esto es muy importante, porque lo que implica la evaluación en esos niveles es muy diferente. El documento adjunto incluido aquí (en inglés) podría resultar útil para navegar a través de esas dificultades.

¡Saludos!

Lal Manavado

Hola

Soy Raoudha, de Túnez, y les agradezco a todos ustedes el importante y constructivo intercambio, en el mismo sentido, creo que la cuestión del seguimiento y la evaluación debe tener en cuenta tanto los aspectos cuantitativos como los cualitativos. Por supuesto, el aspecto cuantitativo sólo tiene sentido si va de la mano del aspecto cualitativo, y este proceso puede dar lugar a resultados capaces de identificar las lecciones aprendidas del ejercicio de evaluación, porque creo que la evaluación no es realmente un objetivo en sí mismo, sino más bien un medio de aprendizaje para rectificar, ajustar, revisar y mejorar. Al evaluar se supone que debemos aprender.

Estimada Judith,

Tema muy interesante y encuentro que todas las respuestas son también interesantes para ayudar en el nacional a establecer un sistema de evaluación para todos los países. Mi consejo es muy limitado, ya que no tengo información sobre el sistema de vigilancia en curso y la visión o los objetivos básicos específicos para 2030, ya que el sistema de evaluación se inspirará en estos dos documentos de referencia.

Creo que la fase más difícil es establecer un sistema de vigilancia con objetivos anuales validados. Podría adoptarse un SMER (Informe de Evaluación de Seis Meses). El primer SMER serviría para analizar los progresos de los objetivos y metas y, de ser necesario, hacer alguna reorientación en el programa y el segundo en la misma línea con una parte de consolidación para la evaluación anual. 

Sin embargo, el enfoque SMER podría ser un reto para la evaluación, ya que la evaluación es para los resultados y las pruebas necesitan tiempo. Sería más pertinente para la evaluación tener un formato de visión quinquenal.
Por lo tanto, si se decide mantener el período anual para el seguimiento y la evaluación, aconsejo que se adopte este enfoque de SMER con una plantilla basada en objetivos y metas específicos que puedan ayudar a definir las cuestiones cuantitativas y cualitativas de la evaluación. 

También recomiendo utilizar la recopilación digital a nivel nacional y validar los resultados de la evaluación mediante un enfoque participativo.

Este comentario hecho por Miriam indica claramente dónde tenemos que empezar el cambio. Cuando el sistema de S&E se centra en el conteo de los frijoles, la pieza de aprendizaje se pierde y la gente tiende a centrarse en el rendimiento basado en los números. Es necesario que las preguntas de aprendizaje se determinen en la etapa conceptual del proyecto/programa. En algunos casos se observa que lo que la gente considera como gestión de los conocimientos es el número de productos del conocimiento que se desarrollarán y que no es lo suficientemente amplio como para incorporar el programa de aprendizaje.

Josephine

Interesante discusión sobre S&E y aprendizaje. Un país que cuenta con un sistema integrado de seguimiento y evaluación vinculado al seguimiento y evaluación nacional es Madagascar. El FIDA estableció un sistema denominado SEG que tenía por objeto vincular el seguimiento y la evaluación y la gestión del conocimiento; véase https://www.slideshare.net/benoitthierry948/madagascarsegsifad-rome-2007 .

Uno de los desafíos que he visto es que el M&E es normalmente un ejercicio de conteo de frijoles para la mayoría de los proyectos. No hay ningún aprendizaje incorporado en el proceso. Cuando gestioné una subvención para la gestión del conocimiento y el aprendizaje, intentamos cambiar la mentalidad de los proyectos de M&E a un M&E orientado al aprendizaje. La mayoría de los proyectos no comienzan con preguntas de aprendizaje que guíen la ejecución, por lo que siempre están a tientas en su proyecto. Como resultado, no pueden mostrar resultados. La idea era incorporar los aspectos cualitativos en el proceso cuantitativo.   

Me gusta mucho la discusión sobre el tablero de mandos del coche - lo tomaré prestado para usarlo en algún lugar.....gracias por compartir

--

Miriam Cherogony

Independent Consultant

Development Finance, Financial Inclusion, and Knowledge Management Expert

Escribiré un análisis un poco largo dentro de unos días. Un poco ocupada con el trabajo.

Sin embargo, una cosa que debemos tener muy clara es que esta pandemia creó desafíos para el proceso de evaluación.

Si se me permite, el concepto de evaluación está en un momento muy profundo. Tienes que ser innovador, pensar fuera de la caja. La evaluación no está en crisis, pero los evaluadores sí.

Isha 

Estimada Renata,

Gracias por sus útiles ideas sobre el tema de discusión. El estudio sobre la capacidad de evaluación de los ministerios de agricultura es también una buena referencia.

Sí, Rwanda está haciendo bien el seguimiento y la presentación de informes sobre el desempeño, por lo que un sistema de evaluación se basaría en los esfuerzos existentes.

Me gustan los puntos de entrada propuestos para el proceso de desarrollo de un sistema de evaluación funcional. La sociedad de seguimiento y evaluación de Rwanda se basará en este enfoque en colaboración con otros importantes interesados del sector.

Saludos cordiales,

Judith

Estimados,

Gracias por este importante tema. Creo que el sector público está lejos de la evaluación. El sistema de S&E es algo bueno para tener si es un sistema completo en su definición amplia, no sólo un protocolo y procedimiento escrito de "cómo" y "debe", como es el caso en nuestra región (en los ministerios). Nuestra experiencia es que no se puede obtener ningún dato de los sistemas existentes. Lo que se necesita es una Cultura de la Evaluación y el cabildeo para la evaluación. Las Asociaciones de Evaluadores profesionales deberían desempeñar un papel en esto, pero sin apoyo, su impacto será limitado, especialmente porque la mayoría de las Asociaciones de Evaluadores profesionales de la región son demasiado jóvenes y trabajan en forma voluntaria. Las Asociaciones de Evaluadores profesionales pueden actuar como movilizadores o facilitadores para reunir a los interesados a fin de mejorar la cultura de la evaluación mediante acciones en tierra. Para dar un ejemplo de las acciones: seleccionar indicadores nacionales comunes o incluso SDG relacionados con la agricultura y tratar de sistematizar el proceso de recopilación de datos sobre ella a nivel de país. Las Asociaciones de Evaluadores profesionales de diferentes países pueden trabajar conjuntamente e incluso formar un consorcio.

Espero que mi idea sea lo suficientemente clara

Gracias

Naser Qadous

Palestine

Estimados todos,

Es cierto que Rwanda ha obtenido grandes resultados si consideramos los esfuerzos realizados en la gestión de la rendición de cuentas en todos los sectores de actividad. En lo que respecta a la ilustración del tablero de mandos de un automóvil, la eficacia del sistema de evaluación debe considerarse desde la perspectiva holística del sistema de seguimiento y evaluación. De hecho, tanto el seguimiento como la evaluación tienen el mismo objetivo: garantizar la consecución efectiva y eficiente de las metas/objetivos/misión.

La evaluación puede complementar, confirmar o contradecir los resultados de la vigilancia. Al ser más sistemática y rigurosa, la evaluación puede proporcionar explicaciones más creíbles y claras [a los ojos de los interesados] que, por diferentes razones, no pueden ser proporcionadas por la propia vigilancia.  Por consiguiente, si el sistema de evaluación falla como componente del sistema de seguimiento y evaluación, todo el sistema ya ha fallado.

Un sistema de S+E bien elaborado (eficaz) debería:

• Tratar de integrar, alinear, priorizar, contextualizar y dotar de recursos a las actividades y procesos de seguimiento, evaluación y aprendizaje
• Apoyar el proceso de diseño y la implementación del programa
• Adaptarse según sea necesario para seguir siendo relevante, y
• Contribuir a la rendición de cuentas, el aprendizaje, la adaptación y el logro del propósito del programa.

En ausencia de un sistema nacional de seguimiento y evaluación, el país hace mal uso de los recursos financieros y pierde oportunidades de aprendizaje. Si existiera un sistema nacional de evaluación, éste limitaría el número de evaluaciones a las que realmente valen la pena. También pondría en marcha una estrategia nacional para aprender de los informes de evaluación a fin de fundamentar los futuros diseños y políticas de los programas.

Además, en mi labor de investigación he comprobado hasta cuatro problemas que afrontan los actuales sistemas de vigilancia y evaluación, debido a que todavía no han aprovechado el big data a tiempo el mundo se ha embarcado en una era digital caracterizada por la disponibilidad de información que crece a un ritmo exponencial: las imprecisas medidas de rendimiento, la incapacidad de hacer predicciones fiables que sirvan de base para la planificación futura y los nuevos diseños de programas, el retraso en la aplicación de las medidas correctivas recomendadas por los emprendimientos de evaluación, y la incapacidad de algunos usuarios de comprender y utilizar los informes de vigilancia y evaluación. [Puede ser extraño para muchos, pero puedo proporcionar más información sobre esto si es necesario].  A este respecto, también quisiera destacar que Rwanda ha elaborado y adoptado una Política Nacional de Revolución de Datos en 2017, que dispone que se deben utilizar grandes análisis de datos para vigilar los progresos del desarrollo y las actividades de investigación perspicaces, etc. La clave es que, para impulsar las funciones de seguimiento y evaluación, es necesario que el país se comprometa a instalar sistemas que funcionen bien y a crear capacidad; de lo contrario, persistirán las cuestiones de la rendición de cuentas y la propiedad nacional.

Por último, es necesario aprovechar el compromiso y la voluntad del Gobierno de Rwanda y la sociedad de seguimiento y evaluación para comprobar nuevamente la integridad de las directrices nacionales de supervisión y evaluación [elaboradas el año pasado y para las que hicimos aportaciones] y hacerlas cumplir. Entonces habremos terminado.

Mejor,

Janvier

Estimada Judith y todos,

El tema de cómo avanzar en la evaluación en la agricultura es el de las ideas que trajeron al desarrollo de esta CoP!

En 2019, la FAO y EvalForward estudiaron las capacidades de evaluación de los ministerios de agricultura, y entrevistamos a funcionarios de los ministerios de agricultura de 23 países. El estudio puso de manifiesto una situación muy dispar según los países, incluidos algunos con capacidades aún muy limitadas en relación con la evaluación, el seguimiento y la evaluación o la gestión basada en los resultados (ver el informe principal en inglès y la nota informativa). Rwanda no figuraba en nuestra muestra, pero parece tener sistemas de seguimiento y evaluación y mediciones del rendimiento bien establecidos (como el imigo anual mencionado por Olivier).

Como es sabido, la evaluación puede ser útil para aportar la profundidad del análisis a los datos y al sistema de seguimiento y evaluación, que por lo demás son sólidos, y ayudar a identificar los puntos débiles, y un establecimiento institucional proporcionaría el marco para llevar a cabo evaluaciones estratégicas y apoyaría la demanda de pruebas y la voluntad y capacidad de utilizarlas.

Sobre la base de la experiencia de los países que han logrado desarrollar un sistema de evaluación, algunos puntos de entrada para iniciar el proceso pueden ser:  

- Encontrar dirigentes influyentes que defiendan la evaluación y que puedan influir en el avance hacia una función de evaluación eficaz a nivel nacional y sectorial.

- Realizar una evaluación piloto con la participación de funcionarios públicos como una oportunidad para demostrar el valor de ese ejercicio, incluida la prueba de evaluaciones rápidas que podrían aportar información en un plazo razonable sobre cuestiones de política apremiantes.

- La conexión con los países que han establecido sistemas de evaluación e iniciado colaboraciones con iniciativas como Twende Mbele que tienen por objeto apoyar esos procesos. 

- Ejercer presión por la evaluación a través de los principales interesados, como las organizaciones de productores, los VOPE, el mundo académico y las ONG.

En muchos países, los recortes presupuestarios en el sector agrícola han dado lugar a una reducción de las inversiones en recursos humanos y en el desarrollo de aptitudes, lo que ha socavado las funciones de seguimiento y evaluación y los intentos de desarrollar la capacidad de evaluación en el sector. Es bueno ver que no es el caso de Rwanda. La centralidad de la agricultura en la economía debe aprovecharse para que se avance en el conjunto de instrumentos para mejorar la generación y el uso de pruebas en el sector.

¡Esperamos las opiniones de los demás miembros!

Renata

Estimado Olivier,

Muchas gracias por su contribución a este importante tema, los contratos y evaluaciones anuales de rendimiento son un excelente enfoque de seguimiento, evalúan el logro de los objetivos anuales a nivel de distrito y sector, así como a nivel institucional, muy buena herramienta para el seguimiento de los resultados a nivel de producto. Sin embargo, el hecho de que se realicen anualmente, no son aptos para un proceso de evaluación detallado de mitad de período o final, que suele hacer un seguimiento de los resultados y el impacto, e informa de los proyectos futuros.

De hecho, Imihigo, podrían formar parte del sistema nacional de seguimiento y evaluación y aportarían enormes contribuciones, pero tal vez no sustituyan al tan necesario sistema nacional de evaluación.

Atentamente,

Judith

Estimado Jean Providence,

Gracias por sus muy útiles comentarios sobre el tema de los Sistemas de Evaluación, me gusta mucho el escenario utilizado de un tablero de mando, explica bien los diferentes aspectos de un sistema de Seguimiento, Evaluación y Aprendizaje. Estoy de acuerdo en que la Vigilancia es una parte importante del sistema, pero se limita a los "indicadores de vanidad", como ustedes lo llaman, sí, la mayoría de los países tienden a ir a por los frutos que cuelgan más bajo, pero también es necesario un sistema de Evaluación funcional para completar nuestro Sistema Nacional de Seguimiento y Evaluación y poder aprender de todo el proceso.

Espero con interés más contribuciones de los colegas aquí presentes.

Judith

Hola Judith,

Gracias por compartir este tema para obtener reflexiones e ideas de otros países.

Aquí está mi contribución (siendo ruandés pero practicando M&E en otro lugar):

Suelo utilizar el salpicadero del coche para ilustrar las interrelaciones del Seguimiento y la Evaluación. Un sistema de seguimiento funcional alimenta el sistema de evaluación. Un sistema de evaluación funcional a su vez alimenta los procesos de seguimiento.

Como panel de control para el seguimiento de los progresos y las condiciones de un automóvil, un salpicaderode funcional muestra las condiciones del automóvil. El conductor necesita seguir o comprobar los progresos para llegar a su destino. Imagina conducir un coche sin tablero de mandos! Extraño, arriesgado, propenso a los accidentes, etc.

El conductor utiliza el mismo salpicadero para evaluar y decidir cuándo ver al mecánico, parar en una gasolinera para repostar o para aumentar la presión de los neumáticos. A veces, el conductor (es decir, el director de proyecto) puede por sí mismo tomar medidas correctivas a partir de su experiencia y conocimiento del sistema del automóvil (es decir, el proyecto). Esto equivale a utilizar los datos de seguimiento o la evaluación del proceso para solucionar los problemas. Utilizando los resultados del seguimiento, el conductor (o el director de proyecto) puede aprender una lección aquí y allá para mantener el automóvil en marcha (o el proyecto) en el camino correcto.

Pero al final, hay cuestiones técnicas que escapan al control del conductor (o del director de proyecto/programa). En tal caso, el conductor necesita reparar el automóvil o buscar conocimientos técnicos para una orientación informada. Cuando está fuera del control del conductor, estamos hablando de cambio (nivel de resultado o impacto). En este nivel, necesitamos ojos más frescos para añadir una nueva perspectiva a la forma en que hemos estado viendo las condiciones de nuestro coche. Necesitamos que la evaluación sea más segura, más objetiva, más cercana al resultado deseado.

El sistema de seguimiento se trata de frutas de baja altura, por eso la mayoría de las organizaciones y países por igual encuentran fácil de establecerlo. La evaluación es técnicamente exigente y es el objetivo final de una vigilancia adecuada. Vigilamos para asegurarnos de que logramos los resultados del proceso (bajo nuestro control). Evaluamos para probar o refutar que hemos alcanzado los resultados esperados en cuanto al nivel de cambio (fuera de nuestro control). El seguimiento se limita a "indicadores de vanidad" (un término de un colega en los medios sociales) como números entrenados, kg distribuidos, etc. Sin el sistema de evaluación, lo que funciona o no funciona no se identificaría lógica y objetivamente con las pruebas. El verdadero cambio no se vería recompensado por la ampliación o la reproducción de proyectos exitosos, etc. Sin el sistema de evaluación, fracasamos o tenemos éxito sin nuestro conocimiento y no podemos estar orgullosos de ello.

Tener un sistema de seguimiento es como tener capacidad institucional o cumplir con los requisitos institucionales para poder informar a xyz. Pero tener un sistema de evaluación es como tener la capacidad humana, la experiencia necesaria para navegar por el complejo paisaje del desarrollo de modo que se mantenga lo que funciona. ¿Qué significa para el S&E en la práctica? Déjenme guardar esto para otro día.

Espero con interés más reflexiones de otros países.

Atentamente,

Jean Providence

Gracias, Kayitesi por este tema. Principalmente en Ruanda, hay planes de distrito (Imihigo) para cada año que cubren todos los sectores, incluyendo la agricultura. El rendimiento de cada distrito se evalúa al final del año. Por lo tanto, me gustaría saber si esto también puede ser clasificado como un sistema de evaluación.

Gracias.