On peut dire globalement qu’en fonction des contextes et des expériences vécues, la pertinence de cette combinaison peut être remise en cause afin de mieux répondre aux besoins de la prise de décision.
Trois questions essentielles :
1. Les décideurs utilisent-ils les données du suivi et des statistiques ous'appuient-ils sur l'évaluation ?
L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un remaniement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés.
Pour cette raison, les données de suivi constituent le premier instrument d’aide à la décision. En effet, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles et simples à utiliser, sans se préoccuper des méthodes qui ont permis de les générer. Ils utilisent moins les preuves évaluatives car celles-ci ne sont pas générées à temps pour leur permettre de les utiliser.
Le suivi, étant un processus fournissant régulièrement des informations, il permet de prendre des décisions rapidement. Un bon suivi implique, forcément, la réussite d'un projet ou d'une politique, puisqu'il permet de corriger et de rectifier rapidement une situation non prévue ou une contrainte donnée. Par ailleurs, plus l'information est fiable et pertinente, plus le suivi est efficace. A ce titre, divers services étatiques (centraux et déconcentrés, y compris les projets) s'attèlent à la production des statistiques ou à faire des estimations, parfois avec beaucoup de peines et des erreurs dans certains pays.
Toutefois, les statistiques produites doivent être correctement analysées et interprétées pour tirer des conclusions utiles à la prise de décisions. C'est justement à ce niveau qu’il y a des problèmes, car beaucoup de cadres pensent que les statistiques et données sont déjà une fin en soi. Or, les statistiques et données de suivi n’ont leur pertinence et utilité que lorsqu’elles sont de bonne qualité, collectées et analysées au bon moment, utilisées pour produire des conclusions et enseignements en relation avec le contexte et la performance. Ceci est important et nécessaire pour la fonction d’évaluation.
2. Quelle est la valeur ajoutée que les décideurs voient réellement dans l'évaluation ?
L'évaluation nécessite plus de temps, puisqu'elle est adossée à la recherche et l'analyse. Elle permet aux décideurs de revoir les stratégies, corriger certaines actions et certaines fois revoir les objectifs, s'ils sont jugés trop ambitieux ou irréalisables, une fois la politique mise en œuvre.
Une évaluation robuste doit partir des informations de suivi (statistiques, interprétations et conclusions) existants. Un challenge auquel l’évaluation (surtout externe ou indépendante) fait toujours face est la disponibilité d’un temps limité pour générer les conclusions et enseignements, contrairement au suivi qui est permanemment sur le terrain. Et donc dans cette situation, la disponibilité de données de suivi est d’une importance capitale. Et c’est justement par rapport à ce dernier aspect que les évaluations ont des difficultés à trouver des preuves permettant de faire des inférences pertinentes sur différents aspects de l’objet évalué. Il ne faut pas blâmer l’évaluation, si les données et informations de suivi sont inexistant ou de qualité médiocre. Par contre, il faut blâmer une évaluation qui tire des conclusions sur des aspects qui souffrent d’absence de preuves, y inclus les données et informations de suivi. Donc l’évolution de l’évaluation doit se faire de façon concomitante à l’évolution du suivi.
Par ailleurs, il est très important de valoriser les producteurs de données et de leur faire un retour de l’utilisation qui a été faite des données dans l’évaluation et la prise de décision. Ceci afin de donner du sens à la collecte de données et de sensibiliser les décideurs à son importance.
3. Comment l'évaluation devrait-elle évoluer pour mieux s'adapter aux besoins des décideurs – par exemple sur les temps de production des rapports ?
Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.
Lorsque l’évaluation s’appuie sur des évidences et des sources triangulées, ses conclusions et enseignements sont très bien pris en compte par les décideurs politique, lorsque ces derniers sont briefés et informées de manière adéquate, car ils y voient une approche plus complète.
4. Quelques défis du suivi et de l’évaluation
Dans les pays en voie de développement, la remontée de l'information de la locale vers la centrale et sa consolidation, constituent la principale contrainte du suivi et de l'évaluation. En effet, l'information manque souvent de fiabilité, ce qui se répercute inévitablement sur les décisions qui seront prises.
Malheureusement le système de suivi et évaluation ne reçoit pas le financement adéquat pour son fonctionnement et ceci impacte les résultats escomptés des programmes et projets.
Toutefois, le problème se pose avec beaucoup plus d’acuité dans les programmes et projets publics qu’au niveau des projets financés par des bailleurs. Ces derniers ont la plupart du temps un bilan concluant avec en général un minimum de 90% d'exécution, d'atteinte des objectifs de performance grâce à un système de suivi évaluation adapté (recrutement de professionnel, financement du dispositif …). Mais après le départ des bailleurs, il y'a plus de continuité, en raison du manque de stratégie de pérennisation des interventions et du dispositif de suivi évaluation (acteurs et outils). Les raisons en sont souvent (i) le manque de transition entre les spécialistes M&E du projet et les acteurs de l'état ; (ii) le manque de ressources humaines ou spécialistes qualifiés au niveau des structures publiques, mais aussi (iii) le manque de politique ou d'engagement de l'Etat pour financer ce dispositif après le cycle du projet.
5. Questions en perspective
Comment faire pour que les activités du Suivi Évaluation obtiennent les ressources idoines pour leur fonctionnement (Réalisation des enquêtes, collecte et traitement des données…) ?
Quels sont les moyens les plus efficaces pour effectuer un suivi dans une zone inaccessible, telle qu'une zone de conflit ?
Comment d’une part, amener les décideurs à financer la pérennisation des interventions (dont le budget du suivi évaluation) au bénéfice des communautés, et d'autre part, relever le niveau d'expertise des agents de l'Etat en suivi-évaluation et ensuite les maintenir dans le secteur public ?
6. Approches de solution
La disponibilité des ressources pour la fonctionnalité des dispositifs de suivi-évaluation doit être examinée à deux niveaux : d'abord au niveau des ressources humaines et ensuite au niveau des ressources financières.
Au niveau des ressources humaines, il faudrait déjà que les projets et programmes commencent à intégrer le transfert de compétences en suivi-évaluation aux bénéficiaires pour assurer la continuité de l'exercice à la fin du projet.
En ce qui concerne les ressources financières, dans la planification budgétaire des composantes, il faut toujours y introduire une ligne prévisionnelle pour les composantes transversales afin d'avoir une disponibilité pour leurs fonctionnalités. Aujourd'hui dans plusieurs canevas de bailleurs, cette ligne est prévue.
Une des options pour diminuer les coûts est de s’appuyer le plus possible sur les usagers (les agriculteurs, les pêcheurs…) pour collecter les données (au lieu d’utiliser uniquement des enquêteurs « professionnels »).
7. Conclusion
Le suivi et l’évaluation sont tous les deux importants (au sens où ce sont deux démarches différentes qui ne se remplacent pas l’une et l’autre) et le suivi est important pour l’évaluation (on fait de meilleures évaluations avec un bon système de suivi). Ce sont donc deux démarches différentes mais complémentaires.
De bonnes données de suivi constituent le fondement d'une bonne évaluation. Ils se complètent, le suivi permet d'être clair sur l'évolution de la mise en œuvre et les ajustements, le cas échéant, dans la mise en œuvre et avec une évaluation, en plus de valider les calculs et les données de suivi, il est possible de leur donner un sens et une explication, des informations opportunes pour les décideurs.
Les données de suivi permettent de concevoir des actions et des politiques subséquentes. Avec l'évaluation, la conception est ajustée et le suivi peut également être amélioré, car en tant qu'évaluateur, j'essaie de donner des recommandations pour améliorer le suivi.
RE: Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?
Synthèse de la discussion
On peut dire globalement qu’en fonction des contextes et des expériences vécues, la pertinence de cette combinaison peut être remise en cause afin de mieux répondre aux besoins de la prise de décision.
Trois questions essentielles :
1. Les décideurs utilisent-ils les données du suivi et des statistiques ou s'appuient-ils sur l'évaluation ?
L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un remaniement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés.
Pour cette raison, les données de suivi constituent le premier instrument d’aide à la décision. En effet, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles et simples à utiliser, sans se préoccuper des méthodes qui ont permis de les générer. Ils utilisent moins les preuves évaluatives car celles-ci ne sont pas générées à temps pour leur permettre de les utiliser.
Le suivi, étant un processus fournissant régulièrement des informations, il permet de prendre des décisions rapidement. Un bon suivi implique, forcément, la réussite d'un projet ou d'une politique, puisqu'il permet de corriger et de rectifier rapidement une situation non prévue ou une contrainte donnée. Par ailleurs, plus l'information est fiable et pertinente, plus le suivi est efficace. A ce titre, divers services étatiques (centraux et déconcentrés, y compris les projets) s'attèlent à la production des statistiques ou à faire des estimations, parfois avec beaucoup de peines et des erreurs dans certains pays.
Toutefois, les statistiques produites doivent être correctement analysées et interprétées pour tirer des conclusions utiles à la prise de décisions. C'est justement à ce niveau qu’il y a des problèmes, car beaucoup de cadres pensent que les statistiques et données sont déjà une fin en soi. Or, les statistiques et données de suivi n’ont leur pertinence et utilité que lorsqu’elles sont de bonne qualité, collectées et analysées au bon moment, utilisées pour produire des conclusions et enseignements en relation avec le contexte et la performance. Ceci est important et nécessaire pour la fonction d’évaluation.
2. Quelle est la valeur ajoutée que les décideurs voient réellement dans l'évaluation ?
L'évaluation nécessite plus de temps, puisqu'elle est adossée à la recherche et l'analyse. Elle permet aux décideurs de revoir les stratégies, corriger certaines actions et certaines fois revoir les objectifs, s'ils sont jugés trop ambitieux ou irréalisables, une fois la politique mise en œuvre.
Une évaluation robuste doit partir des informations de suivi (statistiques, interprétations et conclusions) existants. Un challenge auquel l’évaluation (surtout externe ou indépendante) fait toujours face est la disponibilité d’un temps limité pour générer les conclusions et enseignements, contrairement au suivi qui est permanemment sur le terrain. Et donc dans cette situation, la disponibilité de données de suivi est d’une importance capitale. Et c’est justement par rapport à ce dernier aspect que les évaluations ont des difficultés à trouver des preuves permettant de faire des inférences pertinentes sur différents aspects de l’objet évalué. Il ne faut pas blâmer l’évaluation, si les données et informations de suivi sont inexistant ou de qualité médiocre. Par contre, il faut blâmer une évaluation qui tire des conclusions sur des aspects qui souffrent d’absence de preuves, y inclus les données et informations de suivi. Donc l’évolution de l’évaluation doit se faire de façon concomitante à l’évolution du suivi.
Par ailleurs, il est très important de valoriser les producteurs de données et de leur faire un retour de l’utilisation qui a été faite des données dans l’évaluation et la prise de décision. Ceci afin de donner du sens à la collecte de données et de sensibiliser les décideurs à son importance.
3. Comment l'évaluation devrait-elle évoluer pour mieux s'adapter aux besoins des décideurs – par exemple sur les temps de production des rapports ?
Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.
Lorsque l’évaluation s’appuie sur des évidences et des sources triangulées, ses conclusions et enseignements sont très bien pris en compte par les décideurs politique, lorsque ces derniers sont briefés et informées de manière adéquate, car ils y voient une approche plus complète.
4. Quelques défis du suivi et de l’évaluation
Dans les pays en voie de développement, la remontée de l'information de la locale vers la centrale et sa consolidation, constituent la principale contrainte du suivi et de l'évaluation. En effet, l'information manque souvent de fiabilité, ce qui se répercute inévitablement sur les décisions qui seront prises.
Malheureusement le système de suivi et évaluation ne reçoit pas le financement adéquat pour son fonctionnement et ceci impacte les résultats escomptés des programmes et projets.
Toutefois, le problème se pose avec beaucoup plus d’acuité dans les programmes et projets publics qu’au niveau des projets financés par des bailleurs. Ces derniers ont la plupart du temps un bilan concluant avec en général un minimum de 90% d'exécution, d'atteinte des objectifs de performance grâce à un système de suivi évaluation adapté (recrutement de professionnel, financement du dispositif …). Mais après le départ des bailleurs, il y'a plus de continuité, en raison du manque de stratégie de pérennisation des interventions et du dispositif de suivi évaluation (acteurs et outils). Les raisons en sont souvent (i) le manque de transition entre les spécialistes M&E du projet et les acteurs de l'état ; (ii) le manque de ressources humaines ou spécialistes qualifiés au niveau des structures publiques, mais aussi (iii) le manque de politique ou d'engagement de l'Etat pour financer ce dispositif après le cycle du projet.
5. Questions en perspective
6. Approches de solution
La disponibilité des ressources pour la fonctionnalité des dispositifs de suivi-évaluation doit être examinée à deux niveaux : d'abord au niveau des ressources humaines et ensuite au niveau des ressources financières.
Au niveau des ressources humaines, il faudrait déjà que les projets et programmes commencent à intégrer le transfert de compétences en suivi-évaluation aux bénéficiaires pour assurer la continuité de l'exercice à la fin du projet.
En ce qui concerne les ressources financières, dans la planification budgétaire des composantes, il faut toujours y introduire une ligne prévisionnelle pour les composantes transversales afin d'avoir une disponibilité pour leurs fonctionnalités. Aujourd'hui dans plusieurs canevas de bailleurs, cette ligne est prévue.
Une des options pour diminuer les coûts est de s’appuyer le plus possible sur les usagers (les agriculteurs, les pêcheurs…) pour collecter les données (au lieu d’utiliser uniquement des enquêteurs « professionnels »).
7. Conclusion
Le suivi et l’évaluation sont tous les deux importants (au sens où ce sont deux démarches différentes qui ne se remplacent pas l’une et l’autre) et le suivi est important pour l’évaluation (on fait de meilleures évaluations avec un bon système de suivi). Ce sont donc deux démarches différentes mais complémentaires.
De bonnes données de suivi constituent le fondement d'une bonne évaluation. Ils se complètent, le suivi permet d'être clair sur l'évolution de la mise en œuvre et les ajustements, le cas échéant, dans la mise en œuvre et avec une évaluation, en plus de valider les calculs et les données de suivi, il est possible de leur donner un sens et une explication, des informations opportunes pour les décideurs.
Les données de suivi permettent de concevoir des actions et des politiques subséquentes. Avec l'évaluation, la conception est ajustée et le suivi peut également être amélioré, car en tant qu'évaluateur, j'essaie de donner des recommandations pour améliorer le suivi.