Elias Akpé Kuassivi Segla

Elias Akpé Kuassivi Segla

Spécialiste en suivi-évaluation, chargé d'études senior
Présidence de la République du Bénin
Bénin

Avec 19 ans d'expérience professionnelle, dont 13 ans de management, je suis spécialisé dans la planification, la gestion et l'évaluation des politiques publiques, domaine dans lequel je travaille depuis 2015. Mes compétences : Planification stratégique et opérationnelle - Analyse de données - Recherche qualitative - Gouvernance - Évaluation de programmes - Gestion de projet - Gestion des ressources humaines - Développement personnel.

En tant que chargé d'études senior au suivi des projets, programmes et réformes à la Présidence de la République, j'assure le suivi et prépare l'évaluation des interventions du gouvernement. À ce titre, j'assiste le comité de coordination et j'apporte un soutien aux unités de suivi des projets, programmes et réformes. J'apporte également un appui au contrôle et à la consolidation des rapports de suivi sectoriels, préparés pour le Conseil des ministres.

My contributions

    • Synthèse de la discussion

      On peut dire globalement qu’en fonction des contextes et des expériences vécues, la pertinence de cette combinaison peut être remise en cause afin de mieux répondre aux besoins de la prise de décision.

      Trois questions essentielles :

      1. Les décideurs utilisent-ils les données du suivi et des statistiques ou s'appuient-ils sur l'évaluation ?

      L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un remaniement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés.

      Pour cette raison, les données de suivi constituent le premier instrument d’aide à la décision. En effet, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles et simples à utiliser, sans se préoccuper des méthodes qui ont permis de les générer. Ils utilisent moins les preuves évaluatives car celles-ci ne sont pas générées à temps pour leur permettre de les utiliser.

      Le suivi, étant un processus fournissant régulièrement des informations, il permet de prendre des décisions rapidement. Un bon suivi implique, forcément, la réussite d'un projet ou d'une politique, puisqu'il permet de corriger et de rectifier rapidement une situation non prévue ou une contrainte donnée. Par ailleurs, plus l'information est fiable et pertinente, plus le suivi est efficace. A ce titre, divers services étatiques (centraux et déconcentrés, y compris les projets) s'attèlent à la production des statistiques ou à faire des estimations, parfois avec beaucoup de peines et des erreurs dans certains pays.

      Toutefois, les statistiques produites doivent être correctement analysées et interprétées pour tirer des conclusions utiles à la prise de décisions. C'est justement à ce niveau qu’il y a des problèmes, car beaucoup de cadres pensent que les statistiques et données sont déjà une fin en soi. Or, les statistiques et données de suivi n’ont leur pertinence et utilité que lorsqu’elles sont de bonne qualité, collectées et analysées au bon moment, utilisées pour produire des conclusions et enseignements en relation avec le contexte et la performance. Ceci est important et nécessaire pour la fonction d’évaluation.

      2. Quelle est la valeur ajoutée que les décideurs voient réellement dans l'évaluation ?

      L'évaluation nécessite plus de temps, puisqu'elle est adossée à la recherche et l'analyse. Elle permet aux décideurs de revoir les stratégies, corriger certaines actions et certaines fois revoir les objectifs, s'ils sont jugés trop ambitieux ou irréalisables, une fois la politique mise en œuvre.

      Une évaluation robuste doit partir des informations de suivi (statistiques, interprétations et conclusions) existants. Un challenge auquel l’évaluation (surtout externe ou indépendante) fait toujours face est la disponibilité d’un temps limité pour générer les conclusions et enseignements, contrairement au suivi qui est permanemment sur le terrain. Et donc dans cette situation, la disponibilité de données de suivi est d’une importance capitale. Et c’est justement par rapport à ce dernier aspect que les évaluations ont des difficultés à trouver des preuves permettant de faire des inférences pertinentes sur différents aspects de l’objet évalué. Il ne faut pas blâmer l’évaluation, si les données et informations de suivi sont inexistant ou de qualité médiocre. Par contre, il faut blâmer une évaluation qui tire des conclusions sur des aspects qui souffrent d’absence de preuves, y inclus les données et informations de suivi. Donc l’évolution de l’évaluation doit se faire de façon concomitante à l’évolution du suivi.

      Par ailleurs, il est très important de valoriser les producteurs de données et de leur faire un retour de l’utilisation qui a été faite des données dans l’évaluation et la prise de décision. Ceci afin de donner du sens à la collecte de données et de sensibiliser les décideurs à son importance.

      3. Comment l'évaluation devrait-elle évoluer pour mieux s'adapter aux besoins des décideurs – par exemple sur les temps de production des rapports ?

      Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.

      Lorsque l’évaluation s’appuie sur des évidences et des sources triangulées, ses conclusions et enseignements sont très bien pris en compte par les décideurs politique, lorsque ces derniers sont briefés et informées de manière adéquate, car ils y voient une approche plus complète.

      4. Quelques défis du suivi et de l’évaluation

      Dans les pays en voie de développement, la remontée de l'information de la locale vers la centrale et sa consolidation, constituent la principale contrainte du suivi et de l'évaluation. En effet, l'information manque souvent de fiabilité, ce qui se répercute inévitablement sur les décisions qui seront prises.

      Malheureusement le système de suivi et évaluation ne reçoit pas le financement adéquat pour son fonctionnement et ceci impacte les résultats escomptés des programmes et projets.

      Toutefois, le problème se pose avec beaucoup plus d’acuité dans les programmes et projets publics qu’au niveau des projets financés par des bailleurs. Ces derniers ont la plupart du temps un bilan concluant avec en général un minimum de 90% d'exécution, d'atteinte des objectifs de performance grâce à un système de suivi évaluation adapté (recrutement de professionnel, financement du dispositif …). Mais après le départ des bailleurs, il y'a plus de continuité, en raison du manque de stratégie de pérennisation des interventions et du dispositif de suivi évaluation (acteurs et outils). Les raisons en sont souvent (i) le manque de transition entre les spécialistes M&E du projet et les acteurs de l'état ; (ii) le manque de ressources humaines ou spécialistes qualifiés au niveau des structures publiques, mais aussi (iii) le manque de politique ou d'engagement de l'Etat pour financer ce dispositif après le cycle du projet.

      5. Questions en perspective

      • Comment faire pour que les activités du Suivi Évaluation obtiennent les ressources idoines pour leur fonctionnement (Réalisation des enquêtes, collecte et traitement des données…) ?
      • Quels sont les moyens les plus efficaces pour effectuer un suivi dans une zone inaccessible, telle qu'une zone de conflit ?  
      • Comment d’une part, amener les décideurs à financer la pérennisation des interventions (dont le budget du suivi évaluation) au bénéfice des communautés, et d'autre part, relever le niveau d'expertise des agents de l'Etat en suivi-évaluation et ensuite les maintenir dans le secteur public ?

      ​​​​​​​6. Approches de solution

      La disponibilité des ressources pour la fonctionnalité des dispositifs de suivi-évaluation doit être examinée à deux niveaux : d'abord au niveau des ressources humaines et ensuite au niveau des ressources financières.

      Au niveau des ressources humaines, il faudrait déjà que les projets et programmes commencent à intégrer le transfert de compétences en suivi-évaluation aux bénéficiaires pour assurer la continuité de l'exercice à la fin du projet.

      En ce qui concerne les ressources financières, dans la planification budgétaire des composantes, il faut toujours y introduire une ligne prévisionnelle pour les composantes transversales afin d'avoir une disponibilité pour leurs fonctionnalités. Aujourd'hui dans plusieurs canevas de bailleurs, cette ligne est prévue.

      Une des options pour diminuer les coûts est de s’appuyer le plus possible sur les usagers (les agriculteurs, les pêcheurs…) pour collecter les données (au lieu d’utiliser uniquement des enquêteurs « professionnels »).

      7. Conclusion

      Le suivi et l’évaluation sont tous les deux importants (au sens où ce sont deux démarches différentes qui ne se remplacent pas l’une et l’autre) et le suivi est important pour l’évaluation (on fait de meilleures évaluations avec un bon système de suivi). Ce sont donc deux démarches différentes mais complémentaires.

      De bonnes données de suivi constituent le fondement d'une bonne évaluation. Ils se complètent, le suivi permet d'être clair sur l'évolution de la mise en œuvre et les ajustements, le cas échéant, dans la mise en œuvre et avec une évaluation, en plus de valider les calculs et les données de suivi, il est possible de leur donner un sens et une explication, des informations opportunes pour les décideurs.

      Les données de suivi permettent de concevoir des actions et des politiques subséquentes. Avec l'évaluation, la conception est ajustée et le suivi peut également être amélioré, car en tant qu'évaluateur, j'essaie de donner des recommandations pour améliorer le suivi.

  • « Si nous souhaitons attirer et maintenir l'intérêt d'un plus grand nombre de parties prenantes pour l'évaluation, nous devons l'alimenter à travers des processus participatifs ouverts et des activités d'évaluation fréquentes, comprenant l'auto-évaluation et l'évaluation interne. Cela permettra de renforcer la compréhension de l'évaluation et de plaider en faveur de l'utilisation des éléments concrets fournis par l'évaluation. Cela ne s'oppose pas à la notion d'évaluation indépendante et externe pour garantir une méthodologie rigoureuse ; les deux peuvent aller de pair afin de contribuer à faire avancer la cause et la pratique de l'évaluation dans un pays

    • Chère communauté,

      Merci à Malika pour avoir émergé cette problématique de l'évaluation rapide, qui montre encore une fois les difficultés que nous rencontrons souvent dans la mise en oeuvre pratique de certaines notions théoriques. 

      Mon point de vue sur la question est celui d'un acteur institutionnel et non celui d'un consultant. Au Bénin nous avons démarré la conduite d'évaluations rapides, une notion nouvelle à laquelle nous avons été exposés en Afrique du Sud avec le Programme "Twende Mbele" (programme de coopération en évaluation que nous avons initié avec l'Afrique du Sud et l'Ouganda pour le renforcement de nos systèmes nationaux de suivi-évaluation à-travers le partage d'expérience et le développement d'outils collaboratifs). 

      C'est dans le cadre de ce programme que nous avons développé un guide méthodologique spécifique sur ce type d'évaluation et avons entrepris simultanément 4 évaluations rapides dont 3 concernent des interventions publiques et la 4ème est relative aux effets du COVID-19 sur le secteur informel.

      Il faut dire tout d'abord, que la différence majeure entre l'évaluation rapide et celle traditionnelle réside dans les contraintes de temps et de ressources limitées qui caractérisent l'évaluation rapide. Au Bénin par exemple, une évaluation normale (hormis les évaluations d'impact qui peuvent aller jusqu'à 5 ans) dure en moyenne 9 mois à 1an, voire plus, à cause de beaucoup de facteurs liés aux procédures (notamment l'administration, la passation de marché, la gestion institutionnelle surtout quand il y a beaucoup de parties prenantes), et parfois même à la phase de collecte et d'analyse des données qui se prolonge souvent. L'évaluation rapide appelle donc de mettre en place de nouveaux processus pour réduire le temps des phases avant et après la collecte des données. Avec l'adaptation que nous avons faite au Bénin, on a estimé à 12 semaines maximum le temps global d'une évaluation rapide. Cela implique une période de collecte de données d'un maximum de deux semaines à un mois, afin de laisser du temps pour les activités initiales, l'organisation de la collecte de données, l'analyse des résultats, la rédaction d'un projet de rapport, l'obtention d’observations et la finalisation du rapport. Toutefois, c'est à l'épreuve des faits que nous allons voir si cela est réaliste.

      Pour ce qui est des outils, le déficit en termes de temps et de portée peut être comblé par l’utilisation de méthodes rapides : 

      • Collecte avec des groupes (plutôt que des individus), ateliers,
      • Utilisation de données de routine ou d’autres évaluations,
      • Travail en équipe pour mener différentes étapes de front (Collecte et traitement)

      De plus, nous estimons, que pour effectivement gagner du temps, il est préférable que l'évaluation rapide se fasse par une équipe interne, parce que c'est la seule option qui ne nécessite pas une procédure de passation de marché. Mais cela nécessite que des mécanismes organisationnelles idoines soient mis en place, par exemple :

      • un organigramme de projet pour l'équipe, 
      • l'aménagement du temps de travail hebdomadaire à consacrer à la mission d'évaluation et des délais de livraison rigoureux,
      • des mesures d'accompagnement de l'équipe, etc.

      Par ailleurs, l'équipe d'évaluation ne résidant pas dans les communautés, nous avons identifié des points focaux dans les milieux de collecte de données pour assurer la facilitation avec les membres des communautés afin de gagner du temps.

      Au demeurant, Malika n'a pas été suffisamment précise pour nous permettre de proposer des approches de solution adaptées à son contexte. Mais du peu que j'ai retenu, voilà quelques idées que je partage pour le moment. Je pourrais apporter plus d'éléments factuels lorsque nous aurons tiré les leçons de l'expérience actuellement en cours au Bureau de l'Evaluation des Politiques Publiques du Bénin. 

      Merci et bon courage à tous.

      Elias SEGLA

    • Bonjour à toute la communauté,

      Je suis tout à fait d'avis que le suivi et l'évaluation sont deux fonctions distinctes qui doivent se compléter harmonieusement. La première contribue à nourrir la seconde par des données fiables et de qualité, et la seconde, par l'analyse qualitative des données secondaires fournies par la première, contribue à l'amélioration de leur interprétation. Ainsi, le suivi et l'évaluation permettent de fournir des données probantes pour une prise de décision éclairée.

      Il est vrai que pendant longtemps les deux fonctions ont été confondues sous le vocable "suivi-évaluation" ("M&E" en anglais), terminologie à-travers laquelle l'évaluation était occultée au profit uniquement de l'activité de suivi. Il semblerait donc que l'évaluation tente de prendre sa revanche sur le suivi ces dernières années, avec son institutionnalisation sous l'impulsion d'un leadership qui n'a pas encore réussi l'alchimie nécessaire entre les deux fonctions indissociables.

      A titre d'exemple, le cas du Bénin dont je voudrais partager avec vous ici quelques éléments des résultats de l'évaluation de la mise en oeuvre de la Politique Nationale d'Evaluation (PNE) 2012-2021, politique qui a eu pour ambition de créer la synergie entre les acteurs afin de bâtir un système national d'évaluation efficace à-travers le Cadre Institutionnel d'Evaluation des Politiques Publiques (CIEPP). En effet la PNE fait la distinction entre les deux fonctions en indiquant ce qui suit :

      "L’évaluation [...] repose sur les données résultant des activités de suivi aussi bien que sur les informations obtenues d’autres sources. A ce titre, l’évaluation est complémentaire de la fonction de suivi et se distingue spécifiquement des fonctions de contrôle assignées à d’autres structures et institutions de l’Etat. [...] La fonction du suivi est assurée dans les Ministères par les structures d’exécution sous la coordination des Directions de la Programmation et de la Prospective et des Cellules de Suivi-Evaluation. Lesdites structures sont chargées de collaborer avec le Bureau d’Evaluation des Politiques Publiques et les autres structures d’évaluation afin de fournir toutes les données statistiques ainsi que les informations et les éclairages nécessaires aux évaluations." Ceci confirme mes propos du premier paragraphe.

      Il a donc été pris des mesures organisationnelles prévues aux pp 32 et 33 du document de la PNE ci-joint, mesures qui révèlent bien l'ambition de mettre en symbiose les deux fonctions en créant la synergie entre les parties prenantes nécessaire pour la conduite harmonieuse d'évaluations participatives.

      A l'épreuve des faits, le mouvement de la gestion axée sur les résultats et les réformes budgétaires au Bénin ont induit la culture du suivi-évaluation dans l’administration publique. Mais cette culture est-elle renforcée avec la mise en œuvre de la PNE, et plus globalement par l'institutionnalisation de l'évaluation ?

      Le régime d’évaluation dans les ministères aujourd’hui montre que la mise en œuvre de la PNE n’a pas eu une influence significative sur l’amélioration des pratiques évaluatives. La programmation et le financement des activités d’évaluation, la définition et l’utilisation des outils de suivi-évaluation (intrinsèquement de suivi), les commandes d’évaluations de programmes ou projets sectoriels sont les facteurs que les données de terrain ont permis d’analyser. Il en ressort que les ministères priorisent moins les activités d’évaluation que celles du suivi-évaluation.

      Les ressources allouées aux activités d’évaluation dans les ministères sont relativement restées stables et ne dépassent pas généralement 1,5% du budget total alloué au ministère. Ceci dénote de la faible capacité de priorisation des activités d’évaluation par les ministères. Dans ces conditions, il ne peut être espéré un grand développement de la pratiques évaluative. Ceci reste corroboré par le taux d’exécution des activités de suivi-évaluation programmées qui est souvent dans l’ordre de 65%. A cela s’ajoute le fait que les activités réalisées sont à prédominance relatives au suivi. Les évaluations proprement dites de projets ou programmes se font rares. Des fois mêmes les quelques évaluations réalisées dans certains ministères sont effectuées sous l’impulsion des partenaires techniques et financiers (PTF) qui en font une exigence.

      Toutefois, depuis l’adoption en Conseil des Ministres du guide méthodologique national d’évaluation, il est observé une croissance des activités d’évaluation dans les plans de travail annuel (PTA) des ministères notamment sur la théorie du changement et la programmation de quelques évaluations. Ces résultats montrent déjà la dynamique existante dans les ministères.

      Par ailleurs, peu de ministères disposent d’une base de données de suivi-évaluation fiable régulièrement actualisée. Le développement des infrastructures technologiques d’appui au système d’information, la communication et la dissémination des résultats d'évaluation au niveau des ministères reflètent l’état du développement de la pratiques évaluative tel que présenté supra.

      En définitif, l’état de développement de la pratique évaluative au niveau des ministères se justifie par l’absence de programme opérationnel d’évaluation. La PNE n'a donc pas pu induire un effet substantiel sur la culture évaluative dans les ministères en l’absence de cet outil d’opérationnalisation qu’est le programme triennal d’évaluation.

      Quand nous descendons au niveau des communes, la situation est encore plus grave, car le niveau de développement des activités de suivi-évaluation (intrinsèquement de suivi) est très peu satisfaisant. L'évaluation a fourni des données très précises là-dessus. Je partagerai volontiers le rapport d'évaluation si cela vous intéresse.

      Tout ceci me permets de répondre clairement aux 4 questions de Mustapha pour dire :

      1. L'évaluation et le suivi sont bien des pratiques complémentaires et toutes les deux nécessaires pour l'appréciation et la correction de la performance d'une action de développement, je l'ai dit dès le premier paragraphe.

      2. L'évaluation valorise et capitalise sur les données du suivi, si et seulement si la pratique du suivi est bien structurée et son système de production de données bien géré. Le cas du Bénin que je viens de décrire brièvement montre que dans le domaine du suivi, il y a encore beaucoup d'efforts à faire pour que ces deux fonctions puissent s'harmoniser convenablement afin de constituer ensemble un véritable outil d'aide à la décision.

      3. Je pense qu'il faut renforcer le leadership à tous les niveaux du système national de suivi à savoir :

      - au niveau individuel : les ministres et autres décideurs du top management, les cadres supérieurs et intermédiaires, (gestionnaires de projets, acteurs du suivi-évaluation, etc.) ;

      - au niveau organisationnel : les structures (directions et unités de suivi-évaluation)

      - au niveau des processus : les ateliers de formations, les séminaires, les activités de revues, la collecte de données, etc.

      Il faut également renforcer :

      - les capacités techniques/le professionnalisme/les compétences des acteurs,

      - les réseaux de partenariats qui permettent d'apprendre et de capitaliser sur les expériences des uns et des autres (le forum EvalForward en est un bel exemple),

      - revoir la planification du développement et le choix des indicateurs de développement, notamment la cohérence interne entre les différents documents de planification nationaux, et la cohérence de ces documents avec les agendas internationaux de développement (la domestication des ODD ou leur alignement avec les plans nationaux de développement en est un exemple patent).

      4. Au niveau institutionnel, l'attention prêtée au suivi et à l'évaluation doit être égale 50 - 50. Les deux fonctions sont indissociables et contribuent à part égale au même but : la production de données probantes pour une prise de décision éclairée.

      Merci à tous.

    • Très sincères merci à vous, cher Mustafa,

      J'espère qu'on aura l'occasion de se voir bientôt. J'en profite alors pour partager ci-joint le rapport d'évaluation de la PNE, qui met en évidence plus de détails et de données factuelles sur la situation actuelle du Bénin en matière de pratique évaluative.

      Salutations cordiales à toute la communauté.

      Elias A. K. SEGLA

      Evaluation specialist

      Presidency, Republic of Benin
      Bureau of public policy evaluation and government action analysis
      08 BP 1165 Cotonou - Benin
       

    • Au Bénin, nous n'avons pas encore abordé l'évaluation des développements des capacités. 

      Le développement des capacités est une dimension sur laquelle nous sommes en train de travailler. Actuellement, nous sommes en partenariat avec le Centre d'Etudes Sociologiques et de Science Politique de l'Université d'Abomey-Calavi (CESPo-UAC), pour développer un Certificat en Analyse et Evaluation des Politiques Publiques. Il s'agit d'une formation certifiante de 3 semaines destinée aux acteurs de l'évaluation qui souhaitent renforcer leurs capacités dans ce domaine. Par ailleurs, les Journées Beninoise de l’Evaluation sont l'occasion pour nous de former (en 1 journée) les acteurs du Gouvernement, les ONG et les collectivités territoriales sur différentes thématiques. Mais en dehors de cela, nous organisons chaque année pour ces mêmes acteurs des séminaires de formation de 3 à 5 jours. Cette année par exemple, nous allons former (en 5jours) les responsables des services de planification et de suivi-évaluation des 77 communes du Bénin, sur l'élaboration ou la reconstitution de la théorie du changement des Plans de Développement Communaux (leurs documents de planification stratégique). Nous l'avions fait l'année précédente pour les acteurs du Gouvernement et des ONG. 

      Mais nous n'avons encore jamais entrepris d'évaluer ces développements des capacités. Nous allons y arriver progressivement.

  • Gender and evaluation of food security

    Discussion
    • Bonsoir chers membres,

      Les préoccupations de Georgette du Burkina sont on ne peut plus pertinentes. Nous n'avons pas encore trouvé la réponse au Bénin, mais nous avons initié une activité qui, nous l'espérons, nous aidera à commencer à apporter des réponses pertinentes. Il s'agit de l'étude diagnostique de la sensibilité du système national de suivi évaluation par rapport au genre.

      Cette étude a été faite au Bénin, en Afrique du Sud et en Ouganda. Le diagnostic a porté sur les politiques nationales d'évaluation et les systèmes nationaux de suivi évaluation des trois pays. Les résultas de l'étude nous ont permis  d'adopter un plan d'actions d'amélioration comportant, entre autres, la définition d'indicateurs nationaux par secteur pour évaluer l'aspect genre, ainsi que la révision de notre politique nationale d'évaluation, pour y intégrer des normes et standards en vue de prendre en compte le genre dans toutes nos évaluations.

      Cela ne répond certainement pas aux questions de Georgette, mais c'est pour montrer au moins que la préoccupation est partagée.

      Bien cordialement