¿Podemos conformarnos solo con la evaluación para garantizar que se alcancen los ODS?

Très sincères merci à vous, cher Mustafa,

J'espère qu'on aura l'occasion de se voir bientôt. J'en profite alors pour partager ci-joint le rapport d'évaluation de la PNE, qui met en évidence plus de détails et de données factuelles sur la situation actuelle du Bénin en matière de pratique évaluative.

Salutations cordiales à toute la communauté.

Elias A. K. SEGLA

Evaluation specialist

Presidency, Republic of Benin
Bureau of public policy evaluation and government action analysis
08 BP 1165 Cotonou - Benin
 

Bien hecho Elías por esta brillante contribución que no pude producir personalmente.

Usted resume la situación perfectamente y recomienda exactamente qué hacer. Si algunas de las últimas contribuciones fueron algo prescriptivas o incluso teóricas, la suya está perfectamente inspirada en una experiencia práctica. Y eso es lo que buscamos como miembros en este tipo de plataforma de interacción e intercambio.

Tuve la oportunidad de visitar Benin en junio de 2014 como consultor del Banco Mundial para apoyar al equipo nacional implementando un programa de desarrollo comunitario de 5 años que comenzó como Fase II de un proyecto similar. Me sorprendieron los esfuerzos del Gobierno en su ambición de institucionalizar el Seguimiento y Evaluación en todos los sectores; todavía fueron los primeros años de la aplicación de la política gubernamental 2012-2021 que usted menciona en su contribución (al menos, me imagino). Tuve la oportunidad de visitar varios ministerios gubernamentales y encontré la existencia de un servicio SyE que cotejara varios datos del sector. Durante este período, todavía no había todos los medios disponibles, sino 6 años después, y para leerles ahora, entiendo que tenemos en nuestras manos una experiencia bastante interesante que podría inspirar a varios países, especialmente africanos, pero también a otros, con el fin de ser más prácticos en nuestras recomendaciones y dejar de encerrar nuestros intercambios en lo normativo y lo teórico.

Felicidades una vez más por esta contribución y buena suerte para Benin.

Atentamente

Mustapha  

Hola a toda la comunidad,

Creo plenamente que el seguimiento y la evaluación son dos funciones distintas que deben complementarse armoniosamente. La primera contribuye a alimentar a la evaluación con datos fiables y de calidad, y la segunda, mediante un análisis cualitativo de los datos secundarios facilitados por el primero, contribuye a mejorar su interpretación. Por lo tanto, el seguimiento y la evaluación proporcionan pruebas para la toma de decisiones informadas.

Es cierto que durante mucho tiempo las dos funciones se confundieron bajo el término "seguimiento-evaluación" ("M&E" en inglés), terminología a través de la cual la evaluación se oscureció sólo en beneficio de la actividad de seguimiento. Por lo tanto, parecería que la evaluación está tratando de vengarse del seguimiento en los últimos años, con su institucionalización bajo el impulso de un liderazgo que aún no ha logrado la necesaria alquimia entre las dos funciones inseparables.

Por ejemplo, el caso de Benin, del que me gustaría compartir con ustedes aquí algunos elementos de los resultados de la evaluación de la aplicación de la Política Nacional de Evaluación (PNE) 2012-2021, una política que ha tenido como objetivo crear sinergia entre las partes interesadas con el fin de construir un sistema de evaluación nacional eficaz a través del Marco Institucional para la Evaluación de las Políticas Públicas. La Política Nacional de Evaluación distingue entre las dos funciones indicando:

“La evaluación [...] se basa en datos de actividades de seguimiento, así como en información obtenida de otras fuentes. Como tal, la evaluación es complementaria a la función de seguimiento y es específicamente diferente de las funciones de control asignadas a otras estructuras e instituciones estatales. [...] La función de seguimiento se lleva a cabo en los Ministerios por las estructuras de aplicación bajo la coordinación de las Direcciones de Programación y Prospectiva y las Células de Monitoreo-Evaluación. Estas estructuras son responsables de trabajar con la Oficina de Evaluación de Políticas Públicas y otras estructuras de evaluación para proporcionar todos los datos estadísticos e información y conocimientos necesarios para las evaluaciones”.

Por lo tanto, se adoptaron medidas organizativas previstas para las páginas 32 y 33 del documento adjunto, medidas que revelan claramente la ambición de incorporar las dos funciones a la simbiosis mediante la creación de la sinergia entre las partes interesadas necesarias para el desarrollo armonioso de las evaluaciones participativas.

A prueba de los hechos, el movimiento de gestión basado en resultados y las reformas presupuestarias en Benin han inducido la cultura del seguimiento y la evaluación en la administración pública. Pero, ¿se ve reforzada esta cultura con la implementación del ERP y, en general, con la institucionalización de la evaluación?

El régimen de evaluación en los departamentos de hoy muestra que la implementación de la  Política Nacional de Evaluación no ha tenido un impacto significativo en las mejores prácticas evaluativas. La programación y financiación de las actividades de evaluación, la definición y el uso de herramientas de evaluación de seguimiento, comisiones para evaluaciones de programas sectoriales o proyectos son los factores que los datos sobre el terreno fueron capaces de analizar. Como resultado, los departamentos están menos centrados en las actividades de evaluación que en el seguimiento y la evaluación.                                                                                                                                    

Los recursos asignados a las actividades de evaluación en los departamentos se han mantenido relativamente estables y, en general, no superan el 1,5% del presupuesto total asignado al ministerio. Esto refleja la baja capacidad de los departamentos para dar prioridad a las actividades de evaluación. En estas condiciones, no cabe esperar que las prácticas evaluativas se desarrollen de gran manera. Esto se corrobora por la tasa de ejecución de las actividades programadas de seguimiento y evaluación, que a menudo es del orden del 65%. A esto se suma el hecho de que las actividades realizadas están principalmente relacionadas con el seguimiento. Las evaluaciones de proyectos o programas son raras. A veces, incluso las pocas evaluaciones realizadas en algunos departamentos se llevan a cabo a discreción de los socios técnicos y financieros que lo convierten en un requisito.

Sin embargo, desde la adopción en el Consejo de Ministros de la Guía Nacional de Evaluación Metodológica, se ha producido un aumento de las actividades de evaluación en los planes de trabajo anuales departamentales, en particular sobre la teoría del cambio y la programación de algunas evaluaciones. Estos resultados ya muestran la dinámica existente en los departamentos.

Además, pocos departamentos tienen una base de datos de monitoreo y evaluación actualizada regularmente y confiable. El desarrollo de infraestructura tecnológica para apoyar el sistema de información, la comunicación y difusión de los resultados de la evaluación a nivel departamental reflejan el estado de desarrollo de las prácticas evaluativas como se ha presentado anteriormente.

Al final, el estado de desarrollo de la práctica evaluativa a nivel departamental se justifica por la falta de un programa de evaluación operacional. Como resultado, Política Nacional de Evaluación no ha podido tener un efecto sustancial en la cultura evaluativa en los departamentos en ausencia de esta herramienta de operacionalización, el programa de evaluación de tres años.

Cuando bajamos al nivel de los municipios, la situación es aún más grave, porque el nivel de desarrollo de las actividades de seguimiento y evaluación (inherentemente el seguimiento) es muy insatisfactorio. La evaluación proporcionó datos muy específicos al respecto. Con mucho gusto compartiré el informe de evaluación si está interesado.

Todo esto me permite responder claramente a las 4 preguntas de Mustapha para decir:

1. La evaluación y el seguimiento son prácticas complementarias y necesarias para la evaluación y corrección de la ejecución de una acción de desarrollo, como dije en el primer párrafo.

2. La evaluación valora y capitaliza los datos de seguimiento, si y sólo si la práctica de seguimiento está bien estructurada y su sistema de producción de datos está bien administrado. El caso de Benin, que acabo de describir brevemente, muestra que todavía queda mucho trabajo por hacer para garantizar que estas dos funciones puedan alinearse adecuadamente para ser una verdadera herramienta de toma de decisiones conjuntamente.

3. Creo que es necesario reforzar el liderazgo en todos los niveles del sistema nacional de seguimiento, a saber:

- a nivel individual: ministros y otros responsables de la toma de decisiones de alta dirección, altos y mandos medios, (directores de proyectos, actores de evaluación de seguimiento, etc.);

- a nivel organizativo: estructuras (direcciones y unidades de seguimiento-evaluación)

- a nivel de proceso: talleres de formación, seminarios, actividades de revistas, recopilación de datos, etc.

También es necesario fortalecer:

- las capacidades técnicas/profesionalidad/habilidades de los jugadores,

- redes de asociaciones que permiten a las personas aprender y capitalizar las experiencias de los demás (el foro de EvalForward es un buen ejemplo),

- la revisión de la planificación del desarrollo y la elección de indicadores de desarrollo, incluida la coherencia interna entre los distintos documentos nacionales de planificación, y la coherencia de estos documentos con los programas internacionales de desarrollo (la nacionalización de los SDGs o su alineación con los planes nacionales de desarrollo es un claro ejemplo).

4. A nivel institucional, la atención prestada al seguimiento y la evaluación debe ser igual a 50 - 50. Las dos funciones son inseparables y contribuyen igualmente al mismo objetivo: la producción de pruebas para la toma de decisiones informadas.

Gracias a todos.

[esta es una traducción del comentario original en francés]

Sí, el seguimiento es importante en la evaluación, pero es necesario entender que a menos que uno haya decidido de antemano lo que exactamente uno va a monitorear, no sirve para ningún propósito útil. Este "qué" está determinado por el logro de qué resultado se va a determinar. Es fácil pasar por alto este hecho lógico vital, y a menudo esto sucede. Por lo tanto, el seguimiento queda lógicamente subsumido por la evaluación para la que está destinado.

¡Mucha suerte!

Lal Manavado.

La práctica del seguimiento no puede sustituirse por la evaluación, sino que debe informar la evaluación. El seguimiento debe ir de la mano con la implementación de los programas de desarrollo, proyectos e intervenciones. Es a través del seguimiento que se comprueban las entradas, productos y procesos aplicados. Así como el importante concepto de puntualidad, ya que los programas esperan la evaluación para medir y sacar conclusiones importantes.

Por lo tanto, como consultora de seguimiento y evaluación, diría que tanto la S como la E son críticas y se completan mutuamente.

Gracias por lanzar este tema que ofrece la oportunidad de aclarar estos dos aspectos: el seguimiento y la evaluación, que a menudo son objeto de debate en las iniciativas de desarrollo.

El seguimiento y la evaluación son dos elementos que se complementan entre sí para orientar mejor el proyecto/programa hacia los resultados y objetivos del desarrollo. Sin embargo, uno no puede cancelar el otro como un buen seguimiento es una garantía para una buena evaluación.

La formulación de indicadores es un paso importante en el que se dirige al dispositivo de seguimiento de evaluación del proyecto. Bien formulados, estos indicadores también reflejan los criterios de eficacia, sostenibilidad, eficiencia, efectos/impactos. La coherencia y la pertinencia, en particular para las necesidades y aspiraciones de las comunidades beneficiarias, también implican la aplicación de un mecanismo de análisis participativo para integrar los intereses de todas las partes interesadas. Cuando se lleva a cabo bien sobre el terreno, el análisis de coherencia/relevancia es también una oportunidad para integrar aspectos de igualdad/equidad en los indicadores de monitoreo de evaluación (panel de control del proyecto).

En mi opinión, los indicadores basados en los resultados son favorables para el establecimiento de un seguimiento operativo y realista. He descubierto que los dispositivos de seguimiento de proyectos generalmente se centran en llevar a cabo actividades. Este modelo es más fácil de lograr, pero da menos posibilidades de dirigir la planificación hacia los resultados previstos y tampoco facilita a los evaluadores porque los datos producidos no son suficientes para evaluar los elementos de análisis y compararlos con los resultados del campo. En el exterior, con presupuestos cada vez más reducidos, la duración y la calidad de las evaluaciones se sufren. Esta falta de evaluación generalmente conduce a diferencias de opinión entre los gerentes de proyecto y evaluadores, ya que usted acepta que un evaluador, independientemente de su competencia, no tendrá acceso a todos los elementos de evaluación necesarios para una buena evaluación. De ahí la necesidad de un sistema de seguimiento adecuado, eficaz e integrado.

Recomiendo que los proyectos agrícolas proporcionen los medios para un buen análisis de campo durante la fase de planificación y que presten más atención a la cuestión de los indicadores y al mecanismo de seguimiento mediante la integración de los criterios de evaluación. Además, la síntesis y el análisis periódicos de los datos de seguimiento son importantes y ofrecen oportunidades técnicas para corregir mejor las insuficiencias del proyecto antes de las evaluaciones

Hola estimados colaboradores y gracias por el emocionante debate sobre la importancia de las funciones de seguimiento y evaluación en la implementación de proyectos/programas nacionales que contribuyen al logro de los ODS.

En primer lugar, hay que recordar que las funciones de seguimiento y evaluación se presentan durante la fase activa de los proyectos/programas, por lo tanto, después de la fase de planificación y, por lo tanto, el establecimiento del marco lógico para el desarrollo. Sin embargo, si bien son complementarias, las dos funciones son de clara importancia.

En efecto:

1. El seguimiento es un proceso continuo y sistemático de recopilación y análisis de información para comparar el desempeño de un proyecto/programa o política con los resultados esperados. Se trata de realizar un seguimiento de los resultados esperados y de los recursos gastados utilizando indicadores adecuados.
2. La evaluación tiene como objetivo medir los efectos y el impacto de las acciones tomadas en la ejecución del proyecto/programa/política a través de su pertinencia, eficacia, eficiencia, impacto y sostenibilidad con el fin de extraer lecciones que guíen la toma de decisiones. La evaluación analiza la adecuación del diseño del proyecto al enfoque de implementación y logro.

A través de estas dos definiciones se observa que la función de s seguimiento es interna de la organización de implementación del proyecto/programa/política, pero la función de evaluación puede ser interna y externa (en aras de la objetividad y la experiencia para una opinión independiente).

El seguimiento es un proceso continuo y tiende a centrarse en las actividades en curso. Las evaluaciones se llevan a cabo en momentos específicos para examinar cómo se han llevado a cabo las actividades y cuáles han sido sus efectos. Los datos de seguimiento son generalmente utilizados por los gerentes para la implementación de proyectos/programas, seguimiento de productos, gestión presupuestaria, cumplimiento de procedimientos, etc. Las evaluaciones pueden guiar la implementación (por ejemplo, la evaluación a medio plazo), pero son menos frecuentes y en su lugar examinan cambios significativos (logros) que requieren un mayor rigor metodológico en el análisis, como el impacto y la relevancia de una intervención.

En última instancia, la distinción entre seguimiento y evaluación es que el seguimiento es el análisis continuo del progreso del proyecto hacia la consecución de los resultados esperados con el fin de mejorar la toma de decisiones y la gestión; mientras que la evaluación evalúa la eficiencia, eficacia, impacto, relevancia y sostenibilidad de las políticas y actividades de implementación.

Volviendo al énfasis puesto en el seguimiento y la evaluación por los asociados para el desarrollo, es evidente que la evaluación debe ser más importante para ellos, ya que tienen una comprensión global de los cambios reales inducidos por su intervención. El seguimiento está innegablemente vinculado a la capacidad de gestión de los estados beneficiarios del proyecto. Es su responsabilidad supervisar bien el proyecto con el fin de mejorar los métodos de gestión según sea necesario para lograr los resultados deseados. Y creo que para esta función, aunque a veces los recursos (humanos, materiales o financieros) sean insuficientes, los socios de desarrollo planean de antemano un premio acumulado para ello. Además, la evaluación corroborará las principales deficiencias identificadas a lo largo del seguimiento y no habrá encontrado una solución significativa antes del final de la intervención para establecer lecciones (capitalización de los logros) que se aplicarán en la aplicación de otras iniciativas.

En términos de sugerencia/recomendación, se puede sugerir que:

1. los asociados para el desarrollo son un poco más flexibles para redirigir y/o proporcionar apoyo a proyectos/programas/políticas específicas cuando se observan deficiencias recurrentes de seguimiento para evitar la impresión de que al final de la intervención, el seguimiento no se hizo bien. Aquí es donde todo el punto de la evaluación se encuentra a medio plazo para permitir que se lleven a cabo reflexiones, con el fin de informar y ajustar las acciones del proyecto/programa/política según sea necesario. Con esta condición solamente, ya no sentiremos que el énfasis en la supervisión es desproporcionado con el que se da a la evaluación.
2. Es igualmente importante fortalecer significativamente la capacidad de los órganos internos de gestión de proyectos/programas/políticas para que las funciones de seguimiento se apliquen eficazmente para facilitar la evaluación y guiar a los asociados en sus apoyos específicos durante la ejecución del proyecto/programa/política.

Cordiales saludos a todos.

Estimados todos,

Quisiera hacer mi modesta contribución al debate revivido por el Dr. Mustapha Malki. Mi opinión es que la posición de que la evaluación está mejor desarrollada como una práctica que la función de seguimiento debe ponerse en perspectiva en todos los países y etapas de desarrollo. De hecho, la mayoría de los países africanos tienen documentos de estrategia o desarrollo a mediano plazo alineados con las agendas de desarrollo (Agenda 2063 y Agenda 2030) para gestionar mejor sus procesos de desarrollo. Estos Planes Nacionales de Desarrollo, que proporcionan el marco para todas las intervenciones dentro de estos estados, proporcionan mecanismos de seguimiento y evaluación para evaluar mejor los progresos hacia los diversos objetivos. La puesta en marcha de estos mecanismos de seguimiento y evaluación permite la elaboración de informes periódicos para supervisar la aplicación de estos planes/estrategias nacionales de desarrollo. Sin embargo, varios informes o estudios muestran que la práctica de la evaluación sigue siendo baja en muchos países africanos.

Esto podría explicarse por varias razones, entre ellas el alto costo de las evaluaciones, el bajo interés en las evaluaciones por parte de los responsables de la formulación de políticas, la falta de comprensión del alcance de las evaluaciones por parte de muchas partes interesadas, la insuficiencia del marco jurídico y reglamentario de la evaluación y la falta de una política nacional de evaluación. Estas razones tienden a centrarse en las actividades de seguimiento, que nos permiten evaluar los progresos en la implementación de las intervenciones gubernamentales y de socios técnicos y financieros a nivel nacional, local y sectorial. Por lo tanto, los socios técnicos y financieros apoyan la implementación de sistemas de seguimiento sólidos en muchos países, que son una base importante para llevar a cabo evaluaciones creíbles. Sin embargo, habrá que hacer esfuerzos para apoyar el fortalecimiento de los sistemas estadísticos nacionales a fin de proporcionar datos estadísticos fiables que informen a los sistemas de seguimiento y evaluación. Los esfuerzos también tendrán que continuar a nivel de concienciación dentro de los Estados para ayudar a una mejor comprensión del alcance y el valor de las evaluaciones. Esto podría hacerse en apoyo del creciente compromiso de los Socios Técnicos y Financieros con las evaluaciones de las políticas, programas y proyectos de desarrollo.

SAKO G. Oumar

Experto en Planificación Estratégica, Seguimiento y Evaluación

Estimados todos,

Ha pasado más de un mes desde que comenzamos este debate sobre el desajuste entre el seguimiento y la evaluación, aunque estas dos funciones siempre se han considerado complementarias y, por lo tanto, inseparables. Sin embargo, como primera reacción, debo expresar mi sorpresa de que sólo se han registrado 4 contribuciones para este tema. ¿Por qué una reacción tan débil de los miembros de nuestro grupo?

Más allá de esta sorpresa, he revisado las 3 reacciones que abordan específicamente las cuestiones de la práctica de seguimiento y evaluacióny, propuso relanzar el debate sobre este tema para que podamos elaborar algunas recomendaciones. Para que conste, y para que quede claro en mis recomendaciones, centraré mi intervención en la función de supervisión para distinguirla de la práctica de evaluación en cualquier sistema de supervisión-evaluación porque me parece que el término "seguimiento-evaluación" esconde muy mal el desajuste existente entre las dos funciones, ya que éstas no reciben la misma atención tanto a nivel nacional como internacional.

Como la primera en responder, Natalia recomienda que las teorías del cambio serían más útiles si se desarrollaran durante la fase de planificación o formulación de la intervención y sirvieran como base del sistema de monitoreo-evaluación. Esta es la esencia de la teoría del monitoreo y evaluación en lo que muchos libros de texto especializados sugieren.

También sugiere que las evaluaciones podrían ser más útiles en términos de aprendizaje de la intervención si las preguntas de la Teoria del Cambio y las preguntas de evaluación se alimentan de las preguntas formuladas por los equipos del programa después del análisis de los datos de monitoreo. ¿Pero no es eso lo que se supone que debemos hacer? Y si eso es todo, ¿por qué en general no es como se hace?

En su contribución, Aurélie reconoce que la evaluación está mejor desarrollada como una práctica que su función hermana de seguimiento, tal vez ya que las evaluaciones se realizan principalmente cuando se apoya con financiación externa dedicada, por lo tanto vinculada a un financiador externo. Este es, de hecho, el caso general que puede observarse fácilmente en los países menos adelantados. También se pregunta: ¿por qué la función de seguimiento aún no ha recibido el mismo interés de los donantes; ¿por qué los sistemas de seguimiento no son necesarios como una prioridad, dada la naturaleza esencial de esta herramienta para aprender de acciones pasadas y mejorar las acciones futuras a tiempo? Incluso parece dar una respuesta refiriéndose a un estudio: los países necesitan desarrollar una cultura de gestión general basada en resultados, que comience, incluso antes del seguimiento, con una planificación basada en los resultados. Pero ella no explica por qué aún no está en su lugar, a pesar del hecho de que han pasado 4 años desde que se lanzaron los ODS. Concluye su contribución reconociendo que en muchas instituciones, tanto nacionales como internacionales, el seguimiento sigue siendo ampliamente subestimado, investido y sugiere que corresponde a los evaluadores desempeñar un papel en el apoyo al surgimiento de la función de supervisión, en sus respectivas esferas de influencia; incluso si significa dejar de lado el sacrosanto principio de independencia por un tiempo. Pero no nos muestra cómo los evaluadores pueden lograr sacar a la luz esta tan deseada función de seguimiento donde los grandes donantes y los programas de creación de grandes capacidades han fracasado.

La tercera contribución proviene de Diagne, que comienza reconociendo que al desarrollar un sistema de seguimiento-evaluación, hay un mayor enfoque en las funciones y herramientas en lugar de en el campo -o alcance- y en el propósito del sistema, teniendo en cuenta las necesidades de información del profesor y otras partes interesadas. Dice que si el objetivo principal de un sistema de seguimiento-evaluación es acompañar la implementación de una intervención en un sentido de reflexión crítica constante para lograr los resultados asignados a esta intervención y alertar sobre las condiciones críticas de su aplicación, entonces es necesario revisar -diría personalmente, rediseñar- el sistema de seguimiento-evaluación. Y concluye subrayando que las políticas de desarrollo no dan suficiente importancia al seguimiento y evaluación de los ODS; se limitan a recopilar datos de programas implementados con socios extranjeros para expresar progresos en relación con un indicador en particular, que dista mucho de ser una buena práctica en lo que respecta al seguimiento y la evaluación.

Al menos dos contribuciones (Aurelie y Diagne) reconocen que se necesita una revisión importante del seguimiento-evaluación en la era de la gestión basada en resultados y de todos los demás corolarios basados en resultados.

Lo que podemos observar de todas estas contribuciones es que hay unanimidad sobre el interés y la importancia de fortalecer la complementariedad entre el seguimiento y la evaluación como dos funciones que se refuerzan entre sí, pero no sabemos cómo construir una función de seguimiento digna de la práctica actual de evaluación. Como se dice, identificar las buenas causas de un problema es ya la mitad de la solución a este problema. La principal causa del desajuste entre el seguimiento y la evaluación es que la evaluación ha sido consolidada por los financiadores y asociados para el desarrollo porque aborda sus preocupaciones sobre el desempeño de los programas que financian o implementan. Por otra parte, el seguimiento es una función más beneficiosa para los países que reciben asistencia para el desarrollo, y esa función aún no parece ser importante para los gobiernos del país por varias razones. Dado que hay muy poca inversión externa en la función de seguimiento a nivel nacional, esto alimenta el desajuste entre estas dos funciones. Por lo tanto, si se puede hacer algo para mitigar esta insuficiencia, se debe alentar a los donantes y asociados para el desarrollo a que inviertan en el fortalecimiento de los sistemas nacionales de seguimiento y evaluación y lleven a cabo programas para convencer a los gobiernos de los países receptores de la asistencia para el desarrollo del interés y la importancia de fortalecer los sistemas nacionales de seguimiento y evaluación.

Esperemos que esta contribución relanzará el debate sobre este tema..

I hope everyone is healthy and take good care of yourselves and families, particularly our colleagues working in Rome. Are you all able to work from home and keep up with the development efforts? It does provide a good chance for us emeritus people to draft responses to various forum of interest.

Regarding the interest in M&E, either individually or jointly, my concern is that the value of the exercise is only as good as the questions being asked, the way the data is tabulated, and the finances available to implement the M&E program, particularly within a host governments with limited tax base to support any services including development activities. Associated with this is the stated vs. underlying objective of the M&E effort. As I understand M&E it is designed to be an independent effort on behalf of the underwriting taxpayers to assure the development money is well invested and not wasted as well as guide future projects to more effectively address the objective and allow projects to effectively evolve to better serve the intended beneficiaries. It should not be a propaganda tool to promote projects as successful when by all normal business standards, they are complete failures. As I have listened to many of the USAID MEL (Monitoring, Evaluation, & Learning) webinar and reviewed numerous project reports I am left with the distinct impression the MEL effort is primary to deceive the American public and the elected members of Congress into thinking they are making major contributions to rural poverty alleviation of smallholder farmers, while most of the intended beneficiaries are avoiding active participation like it were the plague, or perhaps the current coronavirus. This may effectively attract continued funding but does nothing for beneficiaries other than keep them deeply entrenched in poverty. More likely M&E activities diverted to project propagandizing will have a substantial negative impact as it reinforces failed programs into future programs preventing them for evolving to better serve the beneficiaries.

Allow me to illustrate use poverty alleviation for smallholder farmers as reference beneficiaries:

Missed question: One question that has been overlooked for most of the last 50 years is the timing of agronomic activities starting with crop establishment. This gets to the limitations of Agronomy research which does an excellent job of determining the physical potential of an area but says nothing about the operational requirements to extend the small plot research across the rest of the farm or community. The assumption is that labor or contract mechanization is readily available, and the farmers only need to be “taught” the value of early planting. A valid M&E effort 50 years ago seeking information including simple field observations on the timing of agronomic operations would have noted that under manual operations crop establishment was spread over 8 weeks or more with rapidly declining yields with the delay to the point it is impossible for manual agriculture to meet basic family food security. If the M&E programs did pick that up the whole poverty alleviation effort would have shifted from badgering smallholders on the importance of early planting and focus on providing access to the operational requirements such as access to contract tillage that would make timing of crop establishment discretionary. It would also note to the extent the current emphasis is on value chain development as a means to promote additional production with the underlying assumption there is surplus operating capacity, is premature until after the operational capacity is increased so farmers could get their crops planted in a more timely manner, produce enough to meet family food security and still have ample production to justify the improved value chain.

Webpage References:

https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFeasibility.pdf

https://smallholderagriculture.agsci.colostate.edu/integration-an-under-appreciated-component-of-technology-transfer/

https://smallholderagriculture.agsci.colostate.edu/most-effective-project-enhancing-access-to-contract-mechanization-via-reconditioned-used-tractors/

https://webdoc.agsci.colostate.edu/smallholderagriculture/BrinksDrudgery.pdf

The failure to identify the operational limits of smallholder farmers has a major impact on the current emphasis for quality nutrition. Here the underlying question is what are the calories needed to optimize the economic opportunities which are largely associated with heavy manual agronomic field work?  This requires at least 4000 kcal/day but with the manual agriculture most farmers are limited to 2000 to 2500 kcal/day barely meeting the 2000 kcal/day basic metabolism, with only enough work calories for a couple diligent hours of manual labor. That may go a long way to explaining the 8-week crop establishment time. But it does mean that it will be difficult to accept a diversified diet if it requires less calories which in turn will reduce their economic opportunity including crop production. However, the nutrition M&E emphasis the impressive number of “beneficiaries” informed without looking at their compromises in being able to utilize the information and the affordability of the improved nutrition vs. available income. The whole concept of dietary requirement to meet economic opportunities seems completely lost to the nutrition improvement effort but certainly not the “beneficiaries” being badgered with nutritional information they cannot use. How often are our proposed agronomic interventions more labor intensive and thus an attempt to obligate hungry exhausted smallholders to exert energy will in excess of their available calories, possibility as much as twice their available calories. When doing so have we met the definition of genocide or come very close to doing such?

                Webpage References:

                https://webdoc.agsci.colostate.edu/smallholderagriculture/ECHO-Diet.pdf

                https://smallholderagriculture.agsci.colostate.edu/ethiopia-diet-analysis/

                https://webdoc.agsci.colostate.edu/smallholderagriculture/DietPoster.pdf

                https://smallholderagriculture.agsci.colostate.edu/1028-2/

    https://smallholderagriculture.agsci.colostate.edu/affordability-of-improved-nutrition-while-optimizing-economic-opportunities/

Data Manipulation: Even if quality M&E data is collected it could be tabulated either as a propaganda tool to promote programs even if they are basically a failure or as a guide the evolution of future programs. There basically two ways of tabulating M&E data. If you are interested in using M&E for propaganda promotions of the project regardless of how successful it is you simply report to aggregate totals of the data.  With a large multi-nation with multi-programs within a nation it can easily provide some highly impressive number, often in the hundreds of thousands. This will appease the public perhaps assure future funding but be meaningless as evaluation tool.  A more effective evaluation tool for guiding future project would the expressing the same data as a percent of the potential. Using my pet concern of the overemphasis on farmer organizations to funnel assistance to smallholder farmers. It is possible and the USAID MEL program routinely does, claim they are assisting several hundred thousand smallholder farmers, but a more detailed analysis would indicate rarely do they have more than 10% of the potential farmers, within the smallholder communities they are claiming to assist,  actively participating and even then they will divert most of their business to alternative service  providers. Thus, they may be assisting a few hundred thousand but have a few million potential beneficiaries avoiding the project. Then since most of the active members will side sell all but what is needed for loan repayments, the total market share from the community will be a trivial less than 5% and virtually no impact on the overall communities’ economy.  Not what would be considered a success by most business standards!! What is urgently needed here is an upfront statement of what will constitute a minimal successful project in terms of percent of potential beneficiaries actively participating in the project and the market share funneled through the project. All expressed in percent of the community.

This target for a success project needs to be consistent with what the underlying taxpayers are expecting. In the case of farmer organizations, the expectation is over 60% participation and over 50% market share. Can anyone come close to this level of success particularly when projects are openly attempting to compete with private service providers?? A good sincere M&E program, either individual or together, should have realized this some 30 years ago and if so the development effort would have carefully looked at alternatives, including accepting that the much vilified private service providers were effective efficient business models that actually provide the farmers the financially best and most convenient business services. Also, it would not take a lot of effort to appreciate the farmer organization model is administratively too cumbersome to compete with private service providers. The overhead costs of operating a farmer organization substantially exceeded the private service profit margins so relying on farmer organization would drive the smallholder members deeper into poverty despite the massive rhetoric about poverty alleviation. Thus, the farmers wisely avoid the farmers organization so that they require continuous external support and facilitation and fully collapse once external support ends.  

                Webpage references:

https://smallholderagriculture.agsci.colostate.edu/perpetuating-cooperatives-deceptivedishonest-spin-reporting/

https://smallholderagriculture.agsci.colostate.edu/appeasement-reporting-in-development-projects-satisfying-donors-at-the-expense-of-beneficiaries/

https://smallholderagriculture.agsci.colostate.edu/relying-on-cooperatives-taxpayers-expectations/

https://smallholderagriculture.agsci.colostate.edu/loss-of-competitive-advantage-areas-of-concern/

https://smallholderagriculture.agsci.colostate.edu/farmers-organizations-and-cooperatives-is-there-a-competitive-adantage/

Financial Limits: The concern with financial limits is that host government are working with a limited tax base to provide support services for which the administrative nature of a national M&E program just cannot get the priority needed for quality data collection. The overall economic environment in most host countries is what I refer to as financially suppressed. This is an economy with such a high level of poverty that most families spend 80% of wages or production just to obtain a meager diet for their family even when the consumer prices are only 1/3rd to 1/5th the USA or EU prices. With that percent of income devoted to survival there just is not enough “discretionary” income to make an effective tax base for the government to raise funds for civil services. Sorry but no taxes no services. The result is that for all practical purposes the government is financially stalled. I think this is why, in previous comments, most of the M&E was done through NGOs with access to external funds.  The problem is when you try and compel a government to undertake an administrative task that cannot be fully funded including the operational costs for the field trips necessary to collect reliable information, the quality and reliability of the task become questionable. With no funds but pressure to provide the data, civil officers will often simply complete the information as best they can according to what they perceive is taking place. It is the best they can do but could be far from reality. It should be noted that virtually 90% of all smallholder farmers in most host countries have never interacted with a civil officer including village agricultural extension officers. It is really better not to ask for a M&E program than have one completed by perception instead of facts.

                Webpage References:

https://smallholderagriculture.agsci.colostate.edu/financially-suppressed-economy-2/

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-governments/

https://smallholderagriculture.agsci.colostate.edu/impact-of-financially-stalled-government-limited-variety-improvement-seed-certification/

The bottom line of this comment is to be very careful and make certain any M&E program alone or combined is mechanism for representing the beneficiaries and advancing the development effort and does not become a means for embellishing programs that may be socially desirable but for which the beneficiaries are avoiding like the current virus. It will be very difficult to meet the SDG when the M&E activities are more promoting and instituting failed programs instead of guiding the evolution of programs to better serve the beneficiaries.

                Webpage Reference:

https://smallholderagriculture.agsci.colostate.edu/monitoring-evaluation-the-voice-of-the-beneficiaries/

Estimado Moustapha y otros,

Gracias por estas contribuciones, que nos dicen mucho sobre los temas de Seguimiento y Evaluación.

En la mayoría de los casos de definición de Planes de Monitoreo y Evaluación, los actores no se centran en el campo y el objeto del sistema, estamos más concentrados en las funciones y herramientas de acuerdo con las necesidades de información patrocinadas por el donante u otras partes interesadas. Sin embargo, si el objetivo principal del seguimiento y la evaluación es acompañar la aplicación en la dirección de una reflexión crítica permanente para lograr los resultados y alertar sobre las condiciones críticas para la implementación de la intervención, tenemos un desafío en la revisión de los planes de monitoreo y evaluación. Para algunos, el seguimiento y la evaluación son dos funciones complementarias y para otras es una función única de supervisión-evaluación con actividades de seguimiento permanentes y actividades de evaluación periódica y temática siguiendo las directrices de intervención. Hoy estamos en la era de la gestión basada en resultados y la presupuestación basada en resultados, de ahí el lugar esencial de seguimiento y evaluación para el éxito de los programas o incluso el logro de los ODS. Los programas invierten más en logros y comunicación y menos en el seguimiento y la evaluación, que requiere una gran cantidad de recursos condicionados por el empleador de la intervención. Hoy en día con la digitalización de los sistemas tenemos menos recursos humanos, pero eso no impide que el costo de los recursos materiales siga siendo alto para una buena implementación. En la mayoría de los países, especialmente en los países en desarrollo, las políticas de desarrollo no dan mucha importancia al seguimiento y la evaluación de los ODS. Recopilan datos recibidos de programas con socios para expresar progresos, lo que no es una resolución pertinente para la naturaleza objetiva del seguimiento y la evaluación. En 2016 propuse el proyecto ADMA (African Durable Measurement Agency) para superar este problema con el fin de resolver la cuestión de la pertinencia e incoherencia de las intervenciones en la misma localidad y tomar nota de las intervenciones por su contribución al logro de los ODS... (aquí adjunto).

Estimado Mustapha,

Gracias por su mensaje, que plantea muchos temas importantes!

Para ocuparme de unos pocos, empezaría diciendo alto y claro que el seguimiento y la evaluación no son en absoluto mutuamente excluyentes y son incuestionablemente complementarios.

Puede ser cierto que la evaluación se ha desarrollado bien como una práctica, y aún más que su función de seguimiento hermana. Dicho esto, un estudio que realizamos (sobre el que hemos compartido recientemente los resultados preliminares -véase  https://www.evalforward.org/index.php/blog/evaluation-agriculture) sugiere que en muchos países en desarrollo, las evaluaciones se realizan principalmente cuando se les apoya una financiación externa dedicada: una indicación de que la "hermana mayor" aún no está establecida en un modelo sostenible...

En cualquier caso, su mensaje plantea una pregunta importante, que también me preocupa: ¿por qué la función de seguimiento no ha recibido todavía el mismo interés de los donantes; ¿por qué los sistemas de seguimiento no son necesarios como una prioridad, dada la naturaleza esencial de esta herramienta para aprender de acciones pasadas y mejorar las acciones futuras a tiempo? Como también encontró nuestro estudio, antes de promover la evaluación, los países necesitan desarrollar una amplia cultura de gestión basada en resultados que comience, incluso antes del seguimiento, con una planificación basada en los resultados.

Es un hecho que en muchas instituciones, desde el nivel nacional hasta el internacional, el seguimiento sigue siendo subestimada en gran medida, infrainvertida. Una forma podría ser comenzar identificando quién tiene mayor interés en la "S" cumpliendo su función: identificar qué funciona o qué no, y las causas y circunstancias de esas dinámicas. En este sentido, los evaluadores podríamos desempeñar un papel de apoyo en el surgimiento de esta función, en nuestras respectivas esferas de influencia; incluso si dejamos a un lado nuestra amada independencia por un tiempo?... ¿Qué piensan otros evaluadores?
Todo bien para todos ustedes,
 

Aurélie

Estimado Mustapha, gracias por plantear este importante tema.

En mi opinión, el seguimiento y la evaluación son complementarios y ambos son necesarios para evaluar y corregir el desempeño de las intervenciones de desarrollo. La razón por la que pueden parecer mutuamente excluyentes es que en la mayoría de los casos el seguimiento  está plenamente integrado en la gestión de la intervención con especialistas que realizan seguimiento como parte del equipo de intervención, mientras que la evaluación a menudo se posiciona como externa y las políticas de evaluación adoptadas por muchos de los principales actores en el campo del desarrollo incluyen serias salvaguardias para garantizar la independencia del equipo de evaluación.

Según mi conocimiento, en muchos países menos desarrollados hay un número creciente de departamentos de S&E en los organismos ejecutivos nacionales, lo que puede interpretarse como una señal de que el seguimiento y la evaluación se consideran complementarios. Según se informa, estos departamentos de S&E se centran más en el seguimiento que en la evaluación y la evaluación que realizan a menudo se limita a comparar el grado de logro de las metas para un conjunto de indicadores preseleccionados.

Estoy de acuerdo en que el seguimiento no está recibiendo mucha atención dentro de la comunidad de evaluación, pero se posiciona como una parte integral de la Gestión Basada en Resultados (RBM) y es parte de los debates dentro de la comunidad de gestión por resultados.

También creo que tanto el seguimiento como la evaluación podrían beneficiarse si hablamos más de la complementariedad de las dos prácticas. Por ejemplo, en mi experiencia las teorías de cambio, un instrumento que surgió de la práctica de evaluación, son más útiles cuando se desarrollan durante la fase de planificación de la intervención y sirven de base para el desarrollo de su sistema de seguimiento. Y las evaluaciones podrían ser más útiles en términos de generación de lecciones de la práctica de intervención si los Términos de referencia de evaluación y las preguntas de evaluación se informaban de cuestiones que los equipos de intervención tienen al examinar sus datos de monitoreo.

Cuando se trata de la aplicación de los Objetivos de desarrollo sostenible, dada la complejidad de las cuestiones que los países y los asociados para el desarrollo tienen que abordar para lograr los Objetivos de desarrollo sostenible y, por lo tanto, la necesidad de utilizar enfoques innovadores y la adaptación constante de las intervenciones, creo que deberíamos estar hablando sobre una mayor integración entre el seguimiento y la evaluación para que el equipo de intervención pueda encargar una evaluación cuando sus datos de seguimiento indiquen que la intervención puede estar desviándose y utilizar los resultados de esta evaluación para ver si alguna adaptación es necesario.

Natalia Kosheleva

Consultor de evaluación