Elias Akpé Kuassivi Segla

Elias Akpé Kuassivi Segla

Spécialiste en suivi-évaluation, chargé d'études senior
Présidence de la République du Bénin
Benin

Avec 19 ans d'expérience professionnelle, dont 13 ans de management, je suis spécialisé dans la planification, la gestion et l'évaluation des politiques publiques, domaine dans lequel je travaille depuis 2015. Mes compétences : Planification stratégique et opérationnelle - Analyse de données - Recherche qualitative - Gouvernance - Évaluation de programmes - Gestion de projet - Gestion des ressources humaines - Développement personnel.

En tant que chargé d'études senior au suivi des projets, programmes et réformes à la Présidence de la République, j'assure le suivi et prépare l'évaluation des interventions du gouvernement. À ce titre, j'assiste le comité de coordination et j'apporte un soutien aux unités de suivi des projets, programmes et réformes. J'apporte également un appui au contrôle et à la consolidation des rapports de suivi sectoriels, préparés pour le Conseil des ministres.

My contributions

    • Resumen del debate

      En general, puede decirse que, según el contexto y la experiencia, puede cuestionarse la pertinencia de esta combinación para responder mejor a las necesidades de la toma de decisiones.

      Tres preguntas clave:

      1.       ¿Los responsables de la toma de decisiones utilizan datos de seguimiento y estadísticos o se basan en la evaluación?

      La evaluación lleva tiempo y sus resultados también. Pocos responsables tienen tiempo para esperarlos. Antes de que te des cuenta, su mandato ha terminado, o hay una remodelación del gobierno. Es posible que algunos ya no estén en el cargo cuando se publiquen los resultados de la evaluación.

      Por ello, los datos de seguimiento son la principal herramienta de apoyo a la toma de decisiones. De hecho, los responsables de la toma de decisiones están dispuestos a utilizar los datos de seguimiento porque son fáciles de conseguir y de utilizar, independientemente de los métodos por los que se hayan generado. Utilizan menos las pruebas evaluativas porque no se generan a tiempo para poder utilizarlas.

      El seguimiento, al ser un proceso que proporciona información periódica, permite tomar decisiones rápidamente. Un buen seguimiento implica necesariamente el éxito de un proyecto o política, ya que permite corregir y rectificar rápidamente una situación o limitación imprevista. Además, cuanto más fiable y pertinente sea la información, más eficaz será el control. A este respecto, diversos servicios estatales (centrales y desconcentrados, incluidos los proyectos) participan en la elaboración de estadísticas o en la realización de estimaciones, a veces con mucha dificultad y con errores en algunos países.

      Sin embargo, las estadísticas producidas deben ser analizadas e interpretadas adecuadamente para sacar conclusiones útiles para la toma de decisiones. Aquí es donde hay problemas, ya que muchos directivos piensan que las estadísticas y los datos son ya un fin en sí mismos. Sin embargo, las estadísticas y los datos de seguimiento sólo son relevantes y útiles cuando son de buena calidad, se recogen y analizan en el momento adecuado y se utilizan para sacar conclusiones y lecciones relacionadas con el contexto y el rendimiento. Esto es importante y necesario para la función de evaluación.

      2.       ¿Cuál es el valor añadido que los responsables de la toma de decisiones ven realmente en la evaluación?

      La evaluación requiere más tiempo, ya que está respaldada por la investigación y el análisis. Permite a los responsables de la toma de decisiones revisar las estrategias, corregir las acciones y, en ocasiones, revisar los objetivos si se consideran demasiado ambiciosos o inalcanzables una vez aplicada la política.

      Una evaluación sólida debe partir de la información de seguimiento existente (estadísticas, interpretaciones y conclusiones). Un reto al que siempre se enfrenta la evaluación (especialmente la externa o independiente) es la disponibilidad de un tiempo limitado para generar conclusiones y lecciones, a diferencia del seguimiento, que está permanentemente sobre el terreno. Por eso, en esta situación, la disponibilidad de datos de seguimiento es de suma importancia. Y es precisamente en relación con este último aspecto que las evaluaciones tienen dificultades para encontrar pruebas que permitan hacer inferencias relevantes sobre diferentes aspectos del objeto evaluado. No se debe culpar a la evaluación si los datos e información de seguimiento son inexistentes o de mala calidad. Por otro lado, hay que reprochar a una evaluación que saque conclusiones sobre aspectos que adolecen de falta de pruebas, incluidos los datos de seguimiento y la información. Por lo tanto, la evolución de la evaluación debe ser concomitante con la evolución del seguimiento.

      Además, es muy importante valorar a los productores de datos y darles su opinión sobre el uso de los datos en la evaluación y la toma de decisiones. Se trata de dar sentido a la recogida de datos y de concienciar a los responsables de la toma de decisiones de su importancia.

      3.       ¿Cómo debería evolucionar la evaluación para responder mejor a las necesidades de los responsables de la toma de decisiones, por ejemplo, en cuanto a los tiempos de presentación de informes?

      Una llamada a la acción innovadora: evaluaciones en tiempo real, rápidas pero rigurosas, si realmente queremos que las pruebas de evaluación sean utilizadas por los responsables de la toma de decisiones.

      Cuando la evaluación se basa en evidencias y fuentes trianguladas, sus conclusiones y lecciones son muy bien tomadas en cuenta por los responsables políticos, cuando están debidamente informados y fundamentados, porque lo ven como un enfoque más completo.

      4.       Algunos retos del seguimiento y la evaluación

      En los países en desarrollo, la principal limitación del seguimiento y la evaluación es el flujo de información del nivel local al central y su consolidación. De hecho, la información suele ser poco fiable, lo que inevitablemente repercute en las decisiones que se toman.

      Lamentablemente, el sistema de seguimiento y evaluación no recibe una financiación adecuada para su funcionamiento, lo que repercute en los resultados esperados de los programas y proyectos.

      Sin embargo, el problema es mucho más grave en los programas y proyectos públicos que en los financiados por donantes. La mayoría de las veces, los proyectos financiados por donantes tienen un historial de éxito, con un mínimo del 90% de ejecución y consecución de los objetivos de rendimiento gracias a un sistema de seguimiento y evaluación adecuado (contratación de profesionales, financiación del sistema, etc.). Pero cuando los donantes se van, no hay continuidad, debido a la falta de una estrategia de sostenibilidad de las intervenciones y del sistema de seguimiento y evaluación (actores y herramientas). Las razones para ello suelen ser (i) la falta de transición entre los especialistas de seguimiento y evaluación de los proyectos y los actores estatales; (ii) la falta de recursos humanos o de especialistas cualificados en las estructuras públicas, pero también (iii) la falta de política o de compromiso del Estado para financiar este mecanismo después del ciclo del proyecto.

      5.       Preguntas en perspectiva

      • ¿Cómo se puede dotar de recursos a las actividades de seguimiento y evaluación para que funcionen (realización de encuestas, recogida y tratamiento de datos, etc.)?
      • ¿Cuáles son las formas más eficaces de llevar a cabo el seguimiento en una zona inaccesible, como una zona de conflicto? 
      • ¿Cómo podemos conseguir que los responsables de la toma de decisiones financien la sostenibilidad de las intervenciones (incluido el presupuesto de seguimiento y evaluación) en beneficio de las comunidades, y cómo podemos elevar el nivel de conocimientos de los agentes gubernamentales en materia de seguimiento y evaluación y mantenerlos en el sector público?

      6.       Enfoques de las soluciones

      La disponibilidad de recursos para la funcionalidad de los mecanismos de seguimiento-evaluación debe examinarse a dos niveles: en primer lugar, a nivel de recursos humanos y, en segundo lugar, a nivel de recursos financieros.

      A nivel de recursos humanos, los proyectos y programas deberían empezar a integrar la transferencia de competencias de seguimiento-evaluación a los beneficiarios para garantizar la continuidad del ejercicio al final del proyecto.

      En cuanto a los recursos financieros, en la planificación presupuestaria de los componentes, siempre es necesario introducir una línea provisional para los componentes transversales con el fin de tener disponibilidad para sus funcionalidades. En la actualidad, esta línea se incluye en varios marcos de donantes.

      Una opción para reducir los costes es recurrir, en la medida de lo posible, a los usuarios (agricultores, pescadores, etc.) para la recogida de datos (en lugar de recurrir únicamente a encuestadores "profesionales").

      7.       Conclusión

      Tanto el seguimiento como la evaluación son importantes (en el sentido de que son dos enfoques diferentes que no se sustituyen entre sí) y el seguimiento es importante para la evaluación (se hacen mejores evaluaciones con un buen sistema de seguimiento). Por tanto, son dos enfoques diferentes pero complementarios.

      Unos buenos datos de seguimiento son la base de una buena evaluación. Se complementan mutuamente, el seguimiento proporciona claridad sobre el progreso de la implementación y los ajustes, si los hay, en la implementación y con una evaluación, además de validar los datos de seguimiento, es posible darles significado y explicación, información oportuna para los responsables de la toma de decisiones.

      Los datos del seguimiento permiten diseñar las acciones y políticas posteriores. Con la evaluación se ajusta el diseño y también se puede mejorar el seguimiento, porque como evaluador intento dar recomendaciones para mejorar el seguimiento.

  • Si queremos atraer y mantener el interés en la evaluación de un número mayor de partes interesadas, debemos fomentar esta práctica con procesos participativos abiertos y actividades frecuentes, incluidas autoevaluaciones y evaluaciones internas. Esto contribuirá a ampliar los conocimientos en este ámbito y promover el uso de las evidencias de las evaluaciones. Velar por una metodología rigurosa no es incompatible con realizar evaluaciones externas independientes. Ambos enfoques se pueden conjugar para promover la práctica de la evaluación en un país.

    Suscribo esta conclusión y acojo con satisfacción la credibilidad otorgada a la autoevaluación y la evaluación interna

    • Estimada comunidad,

      Gracias a Malika por haber sacado a la luz el tema de la evaluación rápida, que muestra una vez más las dificultades que a menudo encontramos en la aplicación práctica de ciertas nociones teóricas.

      Mi punto de vista sobre el tema es el de un actor institucional y no el de un consultor. En Benin hemos empezado a realizar evaluaciones rápidas, un nuevo concepto al que nos expusimos en Sudáfrica con el Programa "Twende Mbele" (un programa de cooperación en materia de evaluación que iniciamos con Sudáfrica y Uganda para fortalecer nuestros sistemas nacionales de seguimiento y evaluación mediante el intercambio de experiencias y el desarrollo de herramientas colaborativas).

      En el marco de este programa hemos elaborado una guía metodológica específica sobre este tipo de evaluación y hemos realizado simultáneamente 4 evaluaciones rápidas, 3 de las cuales se refieren a intervenciones públicas y la cuarta se refiere a los efectos del COVID-19 en el sector informal.

      En primer lugar, hay que decir que la principal diferencia entre la evaluación rápida y la evaluación tradicional radica en las limitaciones de tiempo y los recursos limitados que caracterizan a la evaluación rápida. En Benin, por ejemplo, una evaluación normal (excluidas las evaluaciones del impacto, que pueden durar hasta 5 años) lleva una media de 9 meses a 1 año, o incluso más  debido a muchos factores relacionados con los procedimientos (en particular la administración, la adquisición, la gestión institucional, especialmente cuando hay muchos interesados), y a veces debido a la fase de recopilacíon y análisis de datos, que suele ser prolongada. Por lo tanto, la evaluación rápida requiere nuevos procesos para reducir el tiempo de las fases previas y posteriores a la recopilación de datos. Con la adaptación que hicimos en Benin, el tiempo total para una evaluación rápida se estimó en 12 semanas como máximo. Esto implica un período de recopilación de datos de un máximo de dos semanas a un mes, para dar tiempo a las actividades iniciales, organizar la recopilación de datos, analizar los resultados, redactar un proyecto de informe, obtener observaciones y finalizar el informe. Sin embargo, es una prueba de realidad para ver si esto es realista.

      En lo que respecta a los instrumentos, la brecha en términos de tiempo y alcance puede llenarse mediante el uso de métodos rápidos:

      - Colección con grupos (en lugar de individuos), talleres,

      - Uso de datos de rutina u otras evaluaciones,

      - Trabajo en equipo para llevar a cabo diferentes pasos al mismo tiempo (Recogida y procesamiento)

      Además, creemos que, para ahorrar tiempo de manera efectiva, es preferible que la evaluación rápida sea llevada a cabo por un equipo interno, porque es la única opción que no requiere un procedimiento de adquisición. Pero esto requiere que se establezcan mecanismos de organización adecuados, por ejemplo:

      - un organigrama del proyecto para el equipo,

      - la organización del tiempo de trabajo semanal que se dedicará a la misión de evaluación y plazos estrictos de entrega,

      - medidas de apoyo al equipo, etc.

      Además, como el equipo de evaluación no reside en las comunidades, hemos identificado puntos focales en los entornos de recopilación de datos para garantizar la facilitación con los miembros de la comunidad a fin de ahorrar tiempo.

      Malika no fue suficientemente específica como para permitirnos proponer enfoques de solución adaptados a su contexto. Pero de lo poco que he retenido, aquí hay algunas ideas que comparto por el momento. Podría aportar más elementos de hecho cuando hayamos aprendido de la experiencia que se está llevando a cabo actualmente en la Oficina de Evaluación de Políticas Públicas de Benin.

      Gracias y buena suerte a todos ustedes.

      Elias SEGLA 

    • Hola a toda la comunidad,

      Creo plenamente que el seguimiento y la evaluación son dos funciones distintas que deben complementarse armoniosamente. La primera contribuye a alimentar a la evaluación con datos fiables y de calidad, y la segunda, mediante un análisis cualitativo de los datos secundarios facilitados por el primero, contribuye a mejorar su interpretación. Por lo tanto, el seguimiento y la evaluación proporcionan pruebas para la toma de decisiones informadas.

      Es cierto que durante mucho tiempo las dos funciones se confundieron bajo el término "seguimiento-evaluación" ("M&E" en inglés), terminología a través de la cual la evaluación se oscureció sólo en beneficio de la actividad de seguimiento. Por lo tanto, parecería que la evaluación está tratando de vengarse del seguimiento en los últimos años, con su institucionalización bajo el impulso de un liderazgo que aún no ha logrado la necesaria alquimia entre las dos funciones inseparables.

      Por ejemplo, el caso de Benin, del que me gustaría compartir con ustedes aquí algunos elementos de los resultados de la evaluación de la aplicación de la Política Nacional de Evaluación (PNE) 2012-2021, una política que ha tenido como objetivo crear sinergia entre las partes interesadas con el fin de construir un sistema de evaluación nacional eficaz a través del Marco Institucional para la Evaluación de las Políticas Públicas. La Política Nacional de Evaluación distingue entre las dos funciones indicando:

      “La evaluación [...] se basa en datos de actividades de seguimiento, así como en información obtenida de otras fuentes. Como tal, la evaluación es complementaria a la función de seguimiento y es específicamente diferente de las funciones de control asignadas a otras estructuras e instituciones estatales. [...] La función de seguimiento se lleva a cabo en los Ministerios por las estructuras de aplicación bajo la coordinación de las Direcciones de Programación y Prospectiva y las Células de Monitoreo-Evaluación. Estas estructuras son responsables de trabajar con la Oficina de Evaluación de Políticas Públicas y otras estructuras de evaluación para proporcionar todos los datos estadísticos e información y conocimientos necesarios para las evaluaciones”.

      Por lo tanto, se adoptaron medidas organizativas previstas para las páginas 32 y 33 del documento adjunto, medidas que revelan claramente la ambición de incorporar las dos funciones a la simbiosis mediante la creación de la sinergia entre las partes interesadas necesarias para el desarrollo armonioso de las evaluaciones participativas.

      A prueba de los hechos, el movimiento de gestión basado en resultados y las reformas presupuestarias en Benin han inducido la cultura del seguimiento y la evaluación en la administración pública. Pero, ¿se ve reforzada esta cultura con la implementación del ERP y, en general, con la institucionalización de la evaluación?

      El régimen de evaluación en los departamentos de hoy muestra que la implementación de la  Política Nacional de Evaluación no ha tenido un impacto significativo en las mejores prácticas evaluativas. La programación y financiación de las actividades de evaluación, la definición y el uso de herramientas de evaluación de seguimiento, comisiones para evaluaciones de programas sectoriales o proyectos son los factores que los datos sobre el terreno fueron capaces de analizar. Como resultado, los departamentos están menos centrados en las actividades de evaluación que en el seguimiento y la evaluación.                                                                                                                                    

      Los recursos asignados a las actividades de evaluación en los departamentos se han mantenido relativamente estables y, en general, no superan el 1,5% del presupuesto total asignado al ministerio. Esto refleja la baja capacidad de los departamentos para dar prioridad a las actividades de evaluación. En estas condiciones, no cabe esperar que las prácticas evaluativas se desarrollen de gran manera. Esto se corrobora por la tasa de ejecución de las actividades programadas de seguimiento y evaluación, que a menudo es del orden del 65%. A esto se suma el hecho de que las actividades realizadas están principalmente relacionadas con el seguimiento. Las evaluaciones de proyectos o programas son raras. A veces, incluso las pocas evaluaciones realizadas en algunos departamentos se llevan a cabo a discreción de los socios técnicos y financieros que lo convierten en un requisito.

      Sin embargo, desde la adopción en el Consejo de Ministros de la Guía Nacional de Evaluación Metodológica, se ha producido un aumento de las actividades de evaluación en los planes de trabajo anuales departamentales, en particular sobre la teoría del cambio y la programación de algunas evaluaciones. Estos resultados ya muestran la dinámica existente en los departamentos.

      Además, pocos departamentos tienen una base de datos de monitoreo y evaluación actualizada regularmente y confiable. El desarrollo de infraestructura tecnológica para apoyar el sistema de información, la comunicación y difusión de los resultados de la evaluación a nivel departamental reflejan el estado de desarrollo de las prácticas evaluativas como se ha presentado anteriormente.

      Al final, el estado de desarrollo de la práctica evaluativa a nivel departamental se justifica por la falta de un programa de evaluación operacional. Como resultado, Política Nacional de Evaluación no ha podido tener un efecto sustancial en la cultura evaluativa en los departamentos en ausencia de esta herramienta de operacionalización, el programa de evaluación de tres años.

      Cuando bajamos al nivel de los municipios, la situación es aún más grave, porque el nivel de desarrollo de las actividades de seguimiento y evaluación (inherentemente el seguimiento) es muy insatisfactorio. La evaluación proporcionó datos muy específicos al respecto. Con mucho gusto compartiré el informe de evaluación si está interesado.

      Todo esto me permite responder claramente a las 4 preguntas de Mustapha para decir:

      1. La evaluación y el seguimiento son prácticas complementarias y necesarias para la evaluación y corrección de la ejecución de una acción de desarrollo, como dije en el primer párrafo.

      2. La evaluación valora y capitaliza los datos de seguimiento, si y sólo si la práctica de seguimiento está bien estructurada y su sistema de producción de datos está bien administrado. El caso de Benin, que acabo de describir brevemente, muestra que todavía queda mucho trabajo por hacer para garantizar que estas dos funciones puedan alinearse adecuadamente para ser una verdadera herramienta de toma de decisiones conjuntamente.

      3. Creo que es necesario reforzar el liderazgo en todos los niveles del sistema nacional de seguimiento, a saber:

      - a nivel individual: ministros y otros responsables de la toma de decisiones de alta dirección, altos y mandos medios, (directores de proyectos, actores de evaluación de seguimiento, etc.);

      - a nivel organizativo: estructuras (direcciones y unidades de seguimiento-evaluación)

      - a nivel de proceso: talleres de formación, seminarios, actividades de revistas, recopilación de datos, etc.

      También es necesario fortalecer:

      - las capacidades técnicas/profesionalidad/habilidades de los jugadores,

      - redes de asociaciones que permiten a las personas aprender y capitalizar las experiencias de los demás (el foro de EvalForward es un buen ejemplo),

      - la revisión de la planificación del desarrollo y la elección de indicadores de desarrollo, incluida la coherencia interna entre los distintos documentos nacionales de planificación, y la coherencia de estos documentos con los programas internacionales de desarrollo (la nacionalización de los SDGs o su alineación con los planes nacionales de desarrollo es un claro ejemplo).

      4. A nivel institucional, la atención prestada al seguimiento y la evaluación debe ser igual a 50 - 50. Las dos funciones son inseparables y contribuyen igualmente al mismo objetivo: la producción de pruebas para la toma de decisiones informadas.

      Gracias a todos.

      [esta es una traducción del comentario original en francés]

    • Très sincères merci à vous, cher Mustafa,

      J'espère qu'on aura l'occasion de se voir bientôt. J'en profite alors pour partager ci-joint le rapport d'évaluation de la PNE, qui met en évidence plus de détails et de données factuelles sur la situation actuelle du Bénin en matière de pratique évaluative.

      Salutations cordiales à toute la communauté.

      Elias A. K. SEGLA

      Evaluation specialist

      Presidency, Republic of Benin
      Bureau of public policy evaluation and government action analysis
      08 BP 1165 Cotonou - Benin
       

    • In Benin, we have not yet addressed the evaluation of capacity development.

      Capacity development is something we are working on. Currently, we are in partnership with the Center for Sociology Studies and Political Science of the University of Abomey-Calavi (CESPo-UAC), to develop a Certificate in Analysis and Evaluation of Public Policies. This is a 3-week certifying course for evaluation actors who wish to strengthen their capacities in this area. In addition, the Journées Beninoise de l’Evaluation are an opportunity for us to train (in one day) government actors, NGOs and local authorities on different themes. Apart from that, we organize training seminars for these same actors every three to five days. This year, for example, we will train (in 5 days) the managers of the planning and monitoring-evaluation services of the 77 communes of Benin, on the elaboration or the reconstitution of the theory of change of the Communal Development Plans (their documents of strategic planning). We did it the year before for the actors of the Government and NGOs.

      But we have never undertaken to evaluate these capacity developments. We will get there gradually.

  • Gender and evaluation of food security

    Discussion
    • Good evening dear members,

      Georgette's concerns in Burkina Faso are extremely relevant. We have not yet found the answer in Benin, but we have initiated an activity that we hope will help us begin to provide relevant answers. This is the assessment of the sensitivity of the national system of monitoring and evaluation in relation to gender. This study was done in Benin, South Africa and Uganda. The diagnosis focused on national evaluation policies and the national monitoring and evaluation systems of the three countries. The results of the study allowed us to adopt a plan of improvement actions including, among others, the definition of national indicators by sector to evaluate the gender aspect, as well as the revision of our national policy of evaluation, to incorporate norms and standards to take gender into account in all our evaluations.

      This certainly does not answer Georgette's questions, but it is to show at least that the concern is shared.

      Best regards

      Elias A. K. SEGLA

      Spécialiste en Gouvernance et Management public Présidence de la République du Bénin Bureau de l’Évaluation des Politiques Publiques et de l'Analyse de l'Action Gouvernementale Palais de la Marina

      01 BP 2028 Cotonou - Bénin