Creo plenamente que el seguimiento y la evaluación son dos funciones distintas que deben complementarse armoniosamente. La primera contribuye a alimentar a la evaluación con datos fiables y de calidad, y la segunda, mediante un análisis cualitativo de los datos secundarios facilitados por el primero, contribuye a mejorar su interpretación. Por lo tanto, el seguimiento y la evaluación proporcionan pruebas para la toma de decisiones informadas.
Es cierto que durante mucho tiempo las dos funciones se confundieron bajo el término "seguimiento-evaluación" ("M&E" en inglés), terminología a través de la cual la evaluación se oscureció sólo en beneficio de la actividad de seguimiento. Por lo tanto, parecería que la evaluación está tratando de vengarse del seguimiento en los últimos años, con su institucionalización bajo el impulso de un liderazgo que aún no ha logrado la necesaria alquimia entre las dos funciones inseparables.
Por ejemplo, el caso de Benin, del que me gustaría compartir con ustedes aquí algunos elementos de los resultados de la evaluación de la aplicación de la Política Nacional de Evaluación (PNE) 2012-2021, una política que ha tenido como objetivo crear sinergia entre las partes interesadas con el fin de construir un sistema de evaluación nacional eficaz a través del Marco Institucional para la Evaluación de las Políticas Públicas. La Política Nacional de Evaluación distingue entre las dos funciones indicando:
“La evaluación [...] se basa en datos de actividades de seguimiento, así como en información obtenida de otras fuentes. Como tal, la evaluación es complementaria a la función de seguimiento y es específicamente diferente de las funciones de control asignadas a otras estructuras e instituciones estatales. [...] La función de seguimiento se lleva a cabo en los Ministerios por las estructuras de aplicación bajo la coordinación de las Direcciones de Programación y Prospectiva y las Células de Monitoreo-Evaluación. Estas estructuras son responsables de trabajar con la Oficina de Evaluación de Políticas Públicas y otras estructuras de evaluación para proporcionar todos los datos estadísticos e información y conocimientos necesarios para las evaluaciones”.
Por lo tanto, se adoptaron medidas organizativas previstas para las páginas 32 y 33 del documento adjunto, medidas que revelan claramente la ambición de incorporar las dos funciones a la simbiosis mediante la creación de la sinergia entre las partes interesadas necesarias para el desarrollo armonioso de las evaluaciones participativas.
A prueba de los hechos, el movimiento de gestión basado en resultados y las reformas presupuestarias en Benin han inducido la cultura del seguimiento y la evaluación en la administración pública. Pero, ¿se ve reforzada esta cultura con la implementación del ERP y, en general, con la institucionalización de la evaluación?
El régimen de evaluación en los departamentos de hoy muestra que la implementación de la Política Nacional de Evaluación no ha tenido un impacto significativo en las mejores prácticas evaluativas. La programación y financiación de las actividades de evaluación, la definición y el uso de herramientas de evaluación de seguimiento, comisiones para evaluaciones de programas sectoriales o proyectos son los factores que los datos sobre el terreno fueron capaces de analizar. Como resultado, los departamentos están menos centrados en las actividades de evaluación que en el seguimiento y la evaluación.
Los recursos asignados a las actividades de evaluación en los departamentos se han mantenido relativamente estables y, en general, no superan el 1,5% del presupuesto total asignado al ministerio. Esto refleja la baja capacidad de los departamentos para dar prioridad a las actividades de evaluación. En estas condiciones, no cabe esperar que las prácticas evaluativas se desarrollen de gran manera. Esto se corrobora por la tasa de ejecución de las actividades programadas de seguimiento y evaluación, que a menudo es del orden del 65%. A esto se suma el hecho de que las actividades realizadas están principalmente relacionadas con el seguimiento. Las evaluaciones de proyectos o programas son raras. A veces, incluso las pocas evaluaciones realizadas en algunos departamentos se llevan a cabo a discreción de los socios técnicos y financieros que lo convierten en un requisito.
Sin embargo, desde la adopción en el Consejo de Ministros de la Guía Nacional de Evaluación Metodológica, se ha producido un aumento de las actividades de evaluación en los planes de trabajo anuales departamentales, en particular sobre la teoría del cambio y la programación de algunas evaluaciones. Estos resultados ya muestran la dinámica existente en los departamentos.
Además, pocos departamentos tienen una base de datos de monitoreo y evaluación actualizada regularmente y confiable. El desarrollo de infraestructura tecnológica para apoyar el sistema de información, la comunicación y difusión de los resultados de la evaluación a nivel departamental reflejan el estado de desarrollo de las prácticas evaluativas como se ha presentado anteriormente.
Al final, el estado de desarrollo de la práctica evaluativa a nivel departamental se justifica por la falta de un programa de evaluación operacional. Como resultado, Política Nacional de Evaluación no ha podido tener un efecto sustancial en la cultura evaluativa en los departamentos en ausencia de esta herramienta de operacionalización, el programa de evaluación de tres años.
Cuando bajamos al nivel de los municipios, la situación es aún más grave, porque el nivel de desarrollo de las actividades de seguimiento y evaluación (inherentemente el seguimiento) es muy insatisfactorio. La evaluación proporcionó datos muy específicos al respecto. Con mucho gusto compartiré el informe de evaluación si está interesado.
Todo esto me permite responder claramente a las 4 preguntas de Mustapha para decir:
1. La evaluación y el seguimiento son prácticas complementarias y necesarias para la evaluación y corrección de la ejecución de una acción de desarrollo, como dije en el primer párrafo.
2. La evaluación valora y capitaliza los datos de seguimiento, si y sólo si la práctica de seguimiento está bien estructurada y su sistema de producción de datos está bien administrado. El caso de Benin, que acabo de describir brevemente, muestra que todavía queda mucho trabajo por hacer para garantizar que estas dos funciones puedan alinearse adecuadamente para ser una verdadera herramienta de toma de decisiones conjuntamente.
3. Creo que es necesario reforzar el liderazgo en todos los niveles del sistema nacional de seguimiento, a saber:
- a nivel individual: ministros y otros responsables de la toma de decisiones de alta dirección, altos y mandos medios, (directores de proyectos, actores de evaluación de seguimiento, etc.);
- a nivel organizativo: estructuras (direcciones y unidades de seguimiento-evaluación)
- a nivel de proceso: talleres de formación, seminarios, actividades de revistas, recopilación de datos, etc.
También es necesario fortalecer:
- las capacidades técnicas/profesionalidad/habilidades de los jugadores,
- redes de asociaciones que permiten a las personas aprender y capitalizar las experiencias de los demás (el foro de EvalForward es un buen ejemplo),
- la revisión de la planificación del desarrollo y la elección de indicadores de desarrollo, incluida la coherencia interna entre los distintos documentos nacionales de planificación, y la coherencia de estos documentos con los programas internacionales de desarrollo (la nacionalización de los SDGs o su alineación con los planes nacionales de desarrollo es un claro ejemplo).
4. A nivel institucional, la atención prestada al seguimiento y la evaluación debe ser igual a 50 - 50. Las dos funciones son inseparables y contribuyen igualmente al mismo objetivo: la producción de pruebas para la toma de decisiones informadas.
Gracias a todos.
[esta es una traducción del comentario original en francés]
RE: Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?
Hola a toda la comunidad,
Creo plenamente que el seguimiento y la evaluación son dos funciones distintas que deben complementarse armoniosamente. La primera contribuye a alimentar a la evaluación con datos fiables y de calidad, y la segunda, mediante un análisis cualitativo de los datos secundarios facilitados por el primero, contribuye a mejorar su interpretación. Por lo tanto, el seguimiento y la evaluación proporcionan pruebas para la toma de decisiones informadas.
Es cierto que durante mucho tiempo las dos funciones se confundieron bajo el término "seguimiento-evaluación" ("M&E" en inglés), terminología a través de la cual la evaluación se oscureció sólo en beneficio de la actividad de seguimiento. Por lo tanto, parecería que la evaluación está tratando de vengarse del seguimiento en los últimos años, con su institucionalización bajo el impulso de un liderazgo que aún no ha logrado la necesaria alquimia entre las dos funciones inseparables.
Por ejemplo, el caso de Benin, del que me gustaría compartir con ustedes aquí algunos elementos de los resultados de la evaluación de la aplicación de la Política Nacional de Evaluación (PNE) 2012-2021, una política que ha tenido como objetivo crear sinergia entre las partes interesadas con el fin de construir un sistema de evaluación nacional eficaz a través del Marco Institucional para la Evaluación de las Políticas Públicas. La Política Nacional de Evaluación distingue entre las dos funciones indicando:
“La evaluación [...] se basa en datos de actividades de seguimiento, así como en información obtenida de otras fuentes. Como tal, la evaluación es complementaria a la función de seguimiento y es específicamente diferente de las funciones de control asignadas a otras estructuras e instituciones estatales. [...] La función de seguimiento se lleva a cabo en los Ministerios por las estructuras de aplicación bajo la coordinación de las Direcciones de Programación y Prospectiva y las Células de Monitoreo-Evaluación. Estas estructuras son responsables de trabajar con la Oficina de Evaluación de Políticas Públicas y otras estructuras de evaluación para proporcionar todos los datos estadísticos e información y conocimientos necesarios para las evaluaciones”.
Por lo tanto, se adoptaron medidas organizativas previstas para las páginas 32 y 33 del documento adjunto, medidas que revelan claramente la ambición de incorporar las dos funciones a la simbiosis mediante la creación de la sinergia entre las partes interesadas necesarias para el desarrollo armonioso de las evaluaciones participativas.
A prueba de los hechos, el movimiento de gestión basado en resultados y las reformas presupuestarias en Benin han inducido la cultura del seguimiento y la evaluación en la administración pública. Pero, ¿se ve reforzada esta cultura con la implementación del ERP y, en general, con la institucionalización de la evaluación?
El régimen de evaluación en los departamentos de hoy muestra que la implementación de la Política Nacional de Evaluación no ha tenido un impacto significativo en las mejores prácticas evaluativas. La programación y financiación de las actividades de evaluación, la definición y el uso de herramientas de evaluación de seguimiento, comisiones para evaluaciones de programas sectoriales o proyectos son los factores que los datos sobre el terreno fueron capaces de analizar. Como resultado, los departamentos están menos centrados en las actividades de evaluación que en el seguimiento y la evaluación.
Los recursos asignados a las actividades de evaluación en los departamentos se han mantenido relativamente estables y, en general, no superan el 1,5% del presupuesto total asignado al ministerio. Esto refleja la baja capacidad de los departamentos para dar prioridad a las actividades de evaluación. En estas condiciones, no cabe esperar que las prácticas evaluativas se desarrollen de gran manera. Esto se corrobora por la tasa de ejecución de las actividades programadas de seguimiento y evaluación, que a menudo es del orden del 65%. A esto se suma el hecho de que las actividades realizadas están principalmente relacionadas con el seguimiento. Las evaluaciones de proyectos o programas son raras. A veces, incluso las pocas evaluaciones realizadas en algunos departamentos se llevan a cabo a discreción de los socios técnicos y financieros que lo convierten en un requisito.
Sin embargo, desde la adopción en el Consejo de Ministros de la Guía Nacional de Evaluación Metodológica, se ha producido un aumento de las actividades de evaluación en los planes de trabajo anuales departamentales, en particular sobre la teoría del cambio y la programación de algunas evaluaciones. Estos resultados ya muestran la dinámica existente en los departamentos.
Además, pocos departamentos tienen una base de datos de monitoreo y evaluación actualizada regularmente y confiable. El desarrollo de infraestructura tecnológica para apoyar el sistema de información, la comunicación y difusión de los resultados de la evaluación a nivel departamental reflejan el estado de desarrollo de las prácticas evaluativas como se ha presentado anteriormente.
Al final, el estado de desarrollo de la práctica evaluativa a nivel departamental se justifica por la falta de un programa de evaluación operacional. Como resultado, Política Nacional de Evaluación no ha podido tener un efecto sustancial en la cultura evaluativa en los departamentos en ausencia de esta herramienta de operacionalización, el programa de evaluación de tres años.
Cuando bajamos al nivel de los municipios, la situación es aún más grave, porque el nivel de desarrollo de las actividades de seguimiento y evaluación (inherentemente el seguimiento) es muy insatisfactorio. La evaluación proporcionó datos muy específicos al respecto. Con mucho gusto compartiré el informe de evaluación si está interesado.
Todo esto me permite responder claramente a las 4 preguntas de Mustapha para decir:
1. La evaluación y el seguimiento son prácticas complementarias y necesarias para la evaluación y corrección de la ejecución de una acción de desarrollo, como dije en el primer párrafo.
2. La evaluación valora y capitaliza los datos de seguimiento, si y sólo si la práctica de seguimiento está bien estructurada y su sistema de producción de datos está bien administrado. El caso de Benin, que acabo de describir brevemente, muestra que todavía queda mucho trabajo por hacer para garantizar que estas dos funciones puedan alinearse adecuadamente para ser una verdadera herramienta de toma de decisiones conjuntamente.
3. Creo que es necesario reforzar el liderazgo en todos los niveles del sistema nacional de seguimiento, a saber:
- a nivel individual: ministros y otros responsables de la toma de decisiones de alta dirección, altos y mandos medios, (directores de proyectos, actores de evaluación de seguimiento, etc.);
- a nivel organizativo: estructuras (direcciones y unidades de seguimiento-evaluación)
- a nivel de proceso: talleres de formación, seminarios, actividades de revistas, recopilación de datos, etc.
También es necesario fortalecer:
- las capacidades técnicas/profesionalidad/habilidades de los jugadores,
- redes de asociaciones que permiten a las personas aprender y capitalizar las experiencias de los demás (el foro de EvalForward es un buen ejemplo),
- la revisión de la planificación del desarrollo y la elección de indicadores de desarrollo, incluida la coherencia interna entre los distintos documentos nacionales de planificación, y la coherencia de estos documentos con los programas internacionales de desarrollo (la nacionalización de los SDGs o su alineación con los planes nacionales de desarrollo es un claro ejemplo).
4. A nivel institucional, la atención prestada al seguimiento y la evaluación debe ser igual a 50 - 50. Las dos funciones son inseparables y contribuyen igualmente al mismo objetivo: la producción de pruebas para la toma de decisiones informadas.
Gracias a todos.
[esta es una traducción del comentario original en francés]