Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

SDG
UN

Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

Depuis quelques années, l'évaluation est devenue à la fois une discipline et une pratique incontournables pour apprécier l'atteinte des objectifs de développement dans le monde entier: une discipline académique bien ancrée dans les plus huppées des universités; une pratique assez bien implantée parmi les praticiens du développement, notamment en raison d'un grand soutien à cette pratique de la part des grands bailleurs de fond, dont la Banque Mondiale.

L'institutionnalisation de l'évaluation dans la sphère de développement a été encouragée depuis le lancement des premières formations spécialisées en matière d'évaluation, telles l'IPDET ou le PIFED. Paradoxalement, les systèmes nationaux et la pratique du suivi des actions de développement ont fait l’objet de nombreuses critiques parmi les praticiens du développement, notamment vers la fin de la période des Objectifs de Développement du Millénaire (ODM) : le fossé s'était creusé entre la pratique de l'évaluation et la pratique du suivi des actions de développement.

Le lancement par les Nations-Unies des Objectifs du Développement Durable (ODD) a mis en exergue la nécessité d’améliorer les systèmes nationaux de suivi-évaluation et de promouvoir ces pratiques, en particulier dans les pays moins développés.

Quelques années plus tard, où en sommes-nous? Il semblerait que la pratique de l'évaluation s'est bien développée pour ce qui concerne les actions de développement financées par des bailleurs de fonds notamment en raison des conditionnalités que ceux-ci imposent, mais qu’il n'en est pas de même pour les systèmes nationaux de suivi des actions de développement. Je crains alors qu'une certaine "idéologie" circule parmi les spécialistes et les praticiens de l'évaluation faisant croire que l'évaluation pouvait se suffire à elle-même ou aisément remplacer la pratique du suivi.

Certaines questions méritent d'être posées à ce titre:

  1. L'évaluation et le suivi sont-elles des pratiques mutuellement exclusives, ou sont-elles complémentaires et toutes les deux nécessaires pour l'appréciation et la correction de la performance d'une action de développement?
  2. Si le suivi a une quelconque importance pour l'appréciation et la correction d'une action de développement, qu'est-ce qui fait qu'il ne reçoit pas autant d'attention de nos jours que l'évaluation?
  3. Bien que des efforts aient été consentis dans certains pays moins développés afin d'améliorer les systèmes nationaux de suivi et la pratique du suivi, cela reste insuffisant et parfois trop lié aux conditionnalités imposées par les bailleurs de fonds. Alors, que doit-on faire pour mettre à niveau les systèmes nationaux de suivi et promouvoir la pratique du suivi des actions de développement?
  4. Si nous devons continuer de parler de suivi-évaluation au niveau institutionnel, jusqu'à quel point notre discours et notre attention doivent concerner et le suivi et l'évaluation, et non uniquement l'évaluation? 

Je vous remercie de vos réactions,

Mustapha Malki

This discussion is now closed. Please contact info@evalforward.org for any further information.

Très sincères merci à vous, cher Mustafa,

J'espère qu'on aura l'occasion de se voir bientôt. J'en profite alors pour partager ci-joint le rapport d'évaluation de la PNE, qui met en évidence plus de détails et de données factuelles sur la situation actuelle du Bénin en matière de pratique évaluative.

Salutations cordiales à toute la communauté.

Elias A. K. SEGLA

Evaluation specialist

Presidency, Republic of Benin
Bureau of public policy evaluation and government action analysis
08 BP 1165 Cotonou - Benin
 

Bravo Elias pour cette brillante contribution que je ne pourrais produire personnellement.

Vous résumez parfaitement la situation et recommandez parfaitement ce qu’il faut faire. Si certaines dernières contributions étaient quelque peu normatives, voire théoriques, la votre s’inspire parfaitement d’un vécu pratique. Et c’est ce que nous recherchons en tant que membres dans ce genre de plateforme d’interaction et d’échange.

J’ai eu l’occasion de visiter le Benin en juin 2014 en tant que consultant de la BM pour appuyer l’équipe nationale de mise en œuvre d’un programme de développement communautaire d’une durée de 5 ans et qui débuté en guise de Phase II d’un projet similaire. J’ai été surpris par les efforts consentis par le Gouvernement dans son ambition d’institutionnaliser le S&E dans tous les secteurs; c’était encore les premières années de l’application de la politique gouvernementale 2012-2021 que tu mentionnes dans ta contribution (du moins, j’imagine). J’ai eu l’occasion de visiter plusieurs ministères du Gouvernement et constaté l’existence d’un service S&E qui collationnait plusieurs données du secteur. Durant cette période, les moyens n’étaient pas encore tous disponibles mais 6 ans après, et à vous lire présentement, je comprends que nous avons entre les mains une expérience assez intéressante qui pourrait inspirer plusieurs pays, notamment africains mais d’autres aussi, afin de devenir plus pratiques dans nos préconisations et cesser d’enfermer nos échanges dans le normatif et le théorique.

Bravo encore une fois pour cette contribution et bonne chance pour le Benin.

Cordialement

Mustapha   

 

Bonjour à toute la communauté,

Je suis tout à fait d'avis que le suivi et l'évaluation sont deux fonctions distinctes qui doivent se compléter harmonieusement. La première contribue à nourrir la seconde par des données fiables et de qualité, et la seconde, par l'analyse qualitative des données secondaires fournies par la première, contribue à l'amélioration de leur interprétation. Ainsi, le suivi et l'évaluation permettent de fournir des données probantes pour une prise de décision éclairée.

Il est vrai que pendant longtemps les deux fonctions ont été confondues sous le vocable "suivi-évaluation" ("M&E" en anglais), terminologie à-travers laquelle l'évaluation était occultée au profit uniquement de l'activité de suivi. Il semblerait donc que l'évaluation tente de prendre sa revanche sur le suivi ces dernières années, avec son institutionnalisation sous l'impulsion d'un leadership qui n'a pas encore réussi l'alchimie nécessaire entre les deux fonctions indissociables.

A titre d'exemple, le cas du Bénin dont je voudrais partager avec vous ici quelques éléments des résultats de l'évaluation de la mise en oeuvre de la Politique Nationale d'Evaluation (PNE) 2012-2021, politique qui a eu pour ambition de créer la synergie entre les acteurs afin de bâtir un système national d'évaluation efficace à-travers le Cadre Institutionnel d'Evaluation des Politiques Publiques (CIEPP). En effet la PNE fait la distinction entre les deux fonctions en indiquant ce qui suit :

"L’évaluation [...] repose sur les données résultant des activités de suivi aussi bien que sur les informations obtenues d’autres sources. A ce titre, l’évaluation est complémentaire de la fonction de suivi et se distingue spécifiquement des fonctions de contrôle assignées à d’autres structures et institutions de l’Etat. [...] La fonction du suivi est assurée dans les Ministères par les structures d’exécution sous la coordination des Directions de la Programmation et de la Prospective et des Cellules de Suivi-Evaluation. Lesdites structures sont chargées de collaborer avec le Bureau d’Evaluation des Politiques Publiques et les autres structures d’évaluation afin de fournir toutes les données statistiques ainsi que les informations et les éclairages nécessaires aux évaluations." Ceci confirme mes propos du premier paragraphe.

Il a donc été pris des mesures organisationnelles prévues aux pp 32 et 33 du document de la PNE ci-joint, mesures qui révèlent bien l'ambition de mettre en symbiose les deux fonctions en créant la synergie entre les parties prenantes nécessaire pour la conduite harmonieuse d'évaluations participatives.

A l'épreuve des faits, le mouvement de la gestion axée sur les résultats et les réformes budgétaires au Bénin ont induit la culture du suivi-évaluation dans l’administration publique. Mais cette culture est-elle renforcée avec la mise en œuvre de la PNE, et plus globalement par l'institutionnalisation de l'évaluation ?

Le régime d’évaluation dans les ministères aujourd’hui montre que la mise en œuvre de la PNE n’a pas eu une influence significative sur l’amélioration des pratiques évaluatives. La programmation et le financement des activités d’évaluation, la définition et l’utilisation des outils de suivi-évaluation (intrinsèquement de suivi), les commandes d’évaluations de programmes ou projets sectoriels sont les facteurs que les données de terrain ont permis d’analyser. Il en ressort que les ministères priorisent moins les activités d’évaluation que celles du suivi-évaluation.

Les ressources allouées aux activités d’évaluation dans les ministères sont relativement restées stables et ne dépassent pas généralement 1,5% du budget total alloué au ministère. Ceci dénote de la faible capacité de priorisation des activités d’évaluation par les ministères. Dans ces conditions, il ne peut être espéré un grand développement de la pratiques évaluative. Ceci reste corroboré par le taux d’exécution des activités de suivi-évaluation programmées qui est souvent dans l’ordre de 65%. A cela s’ajoute le fait que les activités réalisées sont à prédominance relatives au suivi. Les évaluations proprement dites de projets ou programmes se font rares. Des fois mêmes les quelques évaluations réalisées dans certains ministères sont effectuées sous l’impulsion des partenaires techniques et financiers (PTF) qui en font une exigence.

Toutefois, depuis l’adoption en Conseil des Ministres du guide méthodologique national d’évaluation, il est observé une croissance des activités d’évaluation dans les plans de travail annuel (PTA) des ministères notamment sur la théorie du changement et la programmation de quelques évaluations. Ces résultats montrent déjà la dynamique existante dans les ministères.

Par ailleurs, peu de ministères disposent d’une base de données de suivi-évaluation fiable régulièrement actualisée. Le développement des infrastructures technologiques d’appui au système d’information, la communication et la dissémination des résultats d'évaluation au niveau des ministères reflètent l’état du développement de la pratiques évaluative tel que présenté supra.

En définitif, l’état de développement de la pratique évaluative au niveau des ministères se justifie par l’absence de programme opérationnel d’évaluation. La PNE n'a donc pas pu induire un effet substantiel sur la culture évaluative dans les ministères en l’absence de cet outil d’opérationnalisation qu’est le programme triennal d’évaluation.

Quand nous descendons au niveau des communes, la situation est encore plus grave, car le niveau de développement des activités de suivi-évaluation (intrinsèquement de suivi) est très peu satisfaisant. L'évaluation a fourni des données très précises là-dessus. Je partagerai volontiers le rapport d'évaluation si cela vous intéresse.

Tout ceci me permets de répondre clairement aux 4 questions de Mustapha pour dire :

1. L'évaluation et le suivi sont bien des pratiques complémentaires et toutes les deux nécessaires pour l'appréciation et la correction de la performance d'une action de développement, je l'ai dit dès le premier paragraphe.

2. L'évaluation valorise et capitalise sur les données du suivi, si et seulement si la pratique du suivi est bien structurée et son système de production de données bien géré. Le cas du Bénin que je viens de décrire brièvement montre que dans le domaine du suivi, il y a encore beaucoup d'efforts à faire pour que ces deux fonctions puissent s'harmoniser convenablement afin de constituer ensemble un véritable outil d'aide à la décision.

3. Je pense qu'il faut renforcer le leadership à tous les niveaux du système national de suivi à savoir :

- au niveau individuel : les ministres et autres décideurs du top management, les cadres supérieurs et intermédiaires, (gestionnaires de projets, acteurs du suivi-évaluation, etc.) ;

- au niveau organisationnel : les structures (directions et unités de suivi-évaluation)

- au niveau des processus : les ateliers de formations, les séminaires, les activités de revues, la collecte de données, etc.

Il faut également renforcer :

- les capacités techniques/le professionnalisme/les compétences des acteurs,

- les réseaux de partenariats qui permettent d'apprendre et de capitaliser sur les expériences des uns et des autres (le forum EvalForward en est un bel exemple),

- revoir la planification du développement et le choix des indicateurs de développement, notamment la cohérence interne entre les différents documents de planification nationaux, et la cohérence de ces documents avec les agendas internationaux de développement (la domestication des ODD ou leur alignement avec les plans nationaux de développement en est un exemple patent).

4. Au niveau institutionnel, l'attention prêtée au suivi et à l'évaluation doit être égale 50 - 50. Les deux fonctions sont indissociables et contribuent à part égale au même but : la production de données probantes pour une prise de décision éclairée.

Merci à tous.

Oui, le suivi est important dans l’évaluation, mais il est nécessaire de comprendre qu’à moins qu’on n’ait décidé à l’avance ce que l’on va surveiller exactement, il ne sert à rien. Ce «quoi» est déterminé par la réalisation de ce résultat on va vérifier. Il est facile d’ignorer ce fait logique vital, et souvent cela arrive. Ainsi, le suivi est logiquement subsumé par l’évaluation pour laquelle il est destiné.

Meilleurs voeux!

Lal Manavado.

La pratique du suivi ne peut pas être remplacée par l’évaluation, mais devrait alimenter l’évaluation. Le suivi doit aller de pair avec la mise en œuvre des programmes de développement, des projets et des interventions. C’est par le suivi que les intrants, les extrants et les processus appliqués sont vérifiés. Ainsi que l’important concept de rapidité que les programmes attendent l’évaluation pour mesurer et tirer des conclusions importantes.

Par conséquent, en tant que consultante en suivi et évaluation, je dirais que le S et le E sont cruciaux et se complètent mutuellement.

 Je vous remercie pour avoir lancé cette idée qui donne l’occasion de clarifier ces 2 aspects : suivi et évaluation qui sont très souvent l’objet de discussion dans les initiatives de développement.

Le suivi et l’évaluation sont deux éléments qui se complètent pour mieux orienter le projet/programme vers les résultats et les objectifs visés de développement. Cependant, l’un ne peut annuler l’autre dans la mesure où un bon suivi est une assurance pour la réalisation d’une bonne évaluation.

La formulation des indicateurs est une étape importante dans la mesure où elle cible le dispositif de suivi évaluation du projet. Bien formulés, ces indicateurs reflètent aussi les critères d’efficacité, durabilité, efficience, effets/impacts. La cohérence et la pertinence notamment aux besoins et aspirations des communautés bénéficiaires impliquent aussi l’application d’un dispositif d’analyse participatif en vue d’intégrer, les intérêts de toutes les parties prenantes. Lorsqu’elle est bien  réalisée sur le terrain, l’analyse de la cohérence/pertinence est également une opportunité pour intégrer les aspects d’égalité/équité dans les indicateurs de suivi évaluation (tableau de bord du projet).

A mon avis, les indicateurs axés sur les résultats (GAR) sont favorables pour l’instauration d’un suivi opérationnel et réaliste. J’ai constaté que les dispositifs de suivi des projets sont généralement centrés sur la réalisation des activités. Ce modèle est plus facile à réaliser mais donne moins de chance d’orienter la planification vers les résultats visés et aussi ne facilite pas la tâche aux évaluateurs car les données produits ne sont pas suffisants pour apprécier les éléments d’analyse et les comparer aux résultats terrains. Hors, avec des budgets de plus en plus réduits, la durée et la qualité des évaluations en pâtissent. Cette insuffisance d’appréciation engendre généralement des divergences de vue entre les responsables de projets et les évaluateurs, car vous convenez qu’un évaluateur, quel que soit sa compétence, n’aura pas accès à tous les éléments d’appréciation nécessaires pour une bonne évaluation. D’où, la nécessité d’un dispositif de suivi adéquat, efficace et intégrant les éléments d’évaluation.

Je recommande que les projets agricoles se donnent les moyens pour une bonne analyse terrain pendant la phase planification et qu’ils accordent plus d’attention à la question des indicateurs et du dispositif de suivi en intégrant les critères d’évaluation. Aussi, les synthèses et analyses périodiques des données de suivi est important et constituent des occasions techniques pour mieux corriger les insuffisances du projet avant les évaluations.

 

Bonjour chers contributeurs et merci pour le débat passionnant autour de l’importance des fonctions du suivi et de l’évaluation dans le cadre de la mise en œuvre des projets/programmes nationaux concourant à l’atteinte des ODD.

Dans un premier temps, il convient de rappeler que les fonctions de suivi et d’évaluation viennent toutes au cours de la phase active des projets/programmes, donc après la phase de planification et donc d’établissement du cadre logique de développement. Toutefois, quoique complémentaires, les deux fonctions ont une importance distincte. 

En effet :

1-  Le suivi est un processus continu et systématique de collecte et d'analyse d'informations pour comparer la performance d'un projet/programme ou d'une politique par rapport aux résultats attendus. Il s'agit de suivre l'évolution des résultats attendus et des ressources dépensées en utilisant des indicateurs appropriés.

2-  L’évaluation quant à elle, vise à mesurer les effets et l’impact des actions menées dans l’exécution du projet/programme/politique à travers sa pertinence, son efficacité, son efficience, son impact et sa durabilité en vue de tirer des enseignements pour guider des prises de décisions. L'évaluation permet d’analyser l'adéquation de la conception du projet à l'approche de mise en œuvre et d'atteinte des résultats.

On constate à travers ces deux définitions que la fonction de suivi est interne à l’organisation de mise en œuvre du projet/programme/politique, mais celle de l’évaluation peut être interne et externe (pour des besoins d’objectivité et d’expertise pointue en vue d’une opinion indépendante).

Le suivi est un processus continu et tend à se concentrer sur les activités en cours. Les évaluations, quant à elles, sont effectuées à des moments précis, pour examiner comment les activités se sont déroulées et quels ont été leurs effets. Les données de suivi sont généralement utilisées par les gestionnaires pour la mise en œuvre des projets/ programmes, le suivi des produits, la gestion du budget, la conformité avec les procédures, etc. Les évaluations peuvent guider la mise en œuvre (Ex : évaluation à mi-parcours), mais elles sont moins fréquentes et examinent plutôt les changements importants (réalisations) qui appellent une plus grande rigueur méthodologique dans l’analyse, tels que l’impact et la pertinence d’une intervention.

In fine, la distinction qu’il convient de faire entre suivi et évaluation réside dans le fait que le suivi analyse en continu de l'avancement du projet vers l'obtention des résultats prévus dans le but d'améliorer la prise de décision et la gestion ; pendant que l’évaluation apprécie l’efficience, l'efficacité, l’impact, la pertinence et la durabilité des politiques et des activités de mise en œuvre.

Pour en revenir à l’importance accordée au suivi et l’évaluation par les partenaires au développement, il est évident que l’évaluation doit leur tenir plus à cœur dans la mesure où ils ont une appréhension globale des véritables changements induits par leur intervention. Le suivi quant à lui est indéniablement lié à la capacité de gestion des états bénéficiaires du projet. C’est à eux que revient la responsabilité de bien suivre le projet afin d’améliorer au besoin les modes de gestion pour atteindre les résultats escomptés. Et je crois que pour cette fonction, même si parfois les ressources (humaines, matérielles ou financières) sont insuffisantes, les partenaires au développement prévoient à l’avance une cagnotte pour ça. Aussi, l’évaluation permettra de corroborer les grands dysfonctionnements relevés tout au long du suivi et n’ayant pas trouvé une solution notable avant la fin de l’intervention pour établir des leçons (capitalisation des acquis) à appliquer dans la mise en œuvre d’autres initiatives.

En termes de suggestion/recommandation, on peut proposer que: 

(i) les partenaires au développement soient un peu plus flexibles à réorienter et/ou apporter des appuis spécifiques au projet/programme/politique lorsque des dysfonctionnements récurrents sont notés au niveau du suivi pour éviter d’avoir l’impression qu’en fin d’intervention, le suivi n’a pas été bien fait. C’est bien là que se situe tout l’intérêt de l’évaluation à mi-parcours pour permettre de mener des réflexions, afin d’éclairer et ajuster au besoin les actions du projet/programme/politique. C’est à cette seule condition que nous n’aurons plus l’impression que l’importance accordée au suivi est disproportionnée par rapport à celle accordée à l’évaluation. 

(ii) Il est tout aussi important de renforcer considérablement les capacités des organes de gestion des projets/programmes/politiques à l’interne afin que les fonctions de suivi soient efficacement mises en œuvre pour faciliter l’évaluation et orienter les partenaires dans leurs appuis spécifiques à apporter au cours de l'exécution du projet/programme/politique.

Cordiales salutations à tous,

 

table

Chers Tous,

Je voudrais apporter ma modeste contribution à la discussion relancée par le Docteur Mustapha Malki. Mon avis est que la position qui soutient que l'évaluation est mieux développée comme pratique que la fonction suivi devrait être relativisée selon les pays et les stades de développement. En effet, la plupart des pays africains se sont dotés de documents de stratégie ou de développement à moyen terme alignés sur les agendas de développement (Agenda 2063 et Agenda 2030) afin de mieux piloter leurs processus de développement. Ces Plans nationaux de développement qui constituent le cadre de référence de toutes les interventions au sein de ces États prévoient de mécanismes de suivi et évaluation afin de mieux apprécier les progrès réalisés vers l'atteinte des différents objectifs. L'opérationnalisation de ces mécanismes de suivi et évaluation permet la production de rapports périodiques de suivi de la mise en œuvre desdits plans nationaux/ stratégie de développement. Toutefois, plusieurs rapports ou études montrent que la pratique de l'évaluation reste faible dans de nombreux pays africains.

Cela pourrait s'expliquer par plusieurs raisons notamment, le coût élevé des évaluations, le faible intérêt accordé aux évaluations par les décideurs publics, la mauvaise compréhension de la portée des évaluations par de nombreux acteurs, l'insuffisance du dispositif légal et réglementaire sur l'évaluation et l'absence de politique nationale d'évaluation. Ces raisons font que les efforts sont plutôt portés sur les activités de suivi, qui permettent d'apprécier les progrès de la mise en œuvre des interventions du Gouvernement et des Partenaires Techniques et Financiers tant au niveau national, local que sectoriel. Ainsi, les Partenaires techniques et financiers accompagnent la mise en œuvre de système de suivi robuste au sein des nombreux pays, qui somme toute constitue un élément de base important pour la réalisation d'évaluations crédibles. Des efforts devront toutefois être faits pour appuyer le renforcement des systèmes statistiques nationaux afin de permettre de disposer de données statistiques fiables pour alimenter les systèmes suivi-évaluation. Aussi, les efforts devront ils se poursuivre au niveau de sensibilisation au sein des États afin d'aider à une meilleure compréhension de la portée et de l'intérêt des évaluations. Cette action pourrait se faire en soutien à l'engagement de plus en plus exprimé des Partenaires Techniques et Financiers en faveur des évaluations des politiques, programmes et projets de développement.

SAKO G. Oumar

Expert en Planification stratégique, suivi et évaluation

 

Bonjour à tous,

Cela fait plus d'un mois que nous avions lancé cette discussion sur l'inadéquation entre suivi et évaluation, bien que ces deux fonctions aient de tout temps été considérées comme complémentaires et donc inséparables. Cependant, comme première réaction, je dois faire part de ma surprise que seules 4 contributions ont été enregistrées pour cette thématique. Pourquoi une telle faiblesse des réactions des membres de notre groupe ?

Au-delà de cette surprise, j'ai passé en revue les 3 réactions qui s'adressent specifiquement aux questions de la pratique du suivi et de l'évaluation et me propose de relancer le débat sur cette thématique pour qu'on puisse en tirer quelques recommandations. Pour information, et afin d'être clair dans mes préconisations, je vais concentrer mon intervention sur la fonction de suivi pour distinguer celle-ci de la pratique d'évaluation dans tout système de suivi-évaluation car il me semble que l'appellation "suivi-évaluation" cache très mal l'inadéquation existante entre les deux fonctions de suivi et d'évaluation, tant celles-ci ne bénéficient aucunement de la même attention tant au plan national qu'international.

Étant la première à réagir, Natalia recommande que les théories de changement seraient plus utiles si elles étaient développées durant la phase de planification ou formulation de l'intervention et serviraient à la fondation du système de suivi-évaluation. Je comprends qu'elle pense à un système qui attribue autant d'attention au suivi qu'à l'évaluation C'est toute l'essence même de la théorie du suivi-évaluation dans ce que suggèrent de nombreux manuels spécialisés.

De même, elle suggère que les évaluations pourraient être plus utiles en termes de génération d'enseignements à partir de l'intervention si les TdR et les questions d'évaluation soient alimentées à partir de questions formulées par les équipes d'intervention après analyse des données du suivi. Mais est-ce que ce n'est ce que nous sommes censés faire? Et si c'est le cas, alors pourquoi en général ce n'est pas comme cela qu'on procède?

Dans sa réaction, Aurélie reconnait que l'évaluation est mieux développée comme pratique que sa fonction-sœur qu'est le suivi, étant donné peut-être que les évaluations se font surtout lorsqu'elles sont appuyées par un financement externe dédié, donc liées à un bailleur de fonds externe. Ceci est en fait le cas général que l'on peut facilement observer dans les pays les moins développés. Elle va même jusqu'à poser une question: pourquoi la fonction de suivi n'a-t-elle pas encore fait l'objet du même intérêt de la part des donateurs; pourquoi les systèmes de suivi ne sont-ils pas exigés en priorité, compte tenu caractère essentiel de cet outil pour tirer des enseignements des actions passées et améliorer les actions futures à temps ? Elle semble même donner un brin de réponse en faisant référence à une étude : les pays doivent mettre en place une culture générale de gestion axée sur les résultats, qui commence, avant même le suivi, par une planification axée autour des résultats. Mais elle évite de nous expliquer pourquoi ça n'est pas encore mis en place, malgré que cela fait 4 ans que les ODD ont été lancés. Elle termine sa contribution en admettant que dans de nombreuses institutions, tant nationales qu'internationales, le suivi reste encore largement sous-estimé, sous-investi et suggère que c'est aux évaluateurs de jouer un rôle de soutien à l'émergence de la fonction du suivi, dans leurs sphères d'influence respectives ; quitte à mettre de côté le sacro-saint principe d'indépendance pour un temps. Mais elle omet de nous monter par quels moyens les évaluateurs peuvent réussir à faire émerger cette fonction de suivi tant désirée là ou des grands bailleurs de fonds et de grands programmes de renforcement de capacité ont échoué.

La troisième et dernière contribution revient Diagne qui commence par reconnaitre que lors de l'élaboration d'un système de suivi-évaluation, on est plus concentré sur les fonctions et les outils plutôt que sur le champ – ou l'étendue – et l'objet du système, compte tenu des besoins en information du bailleur de fond et autres parties prenantes. Il entreprend de dire que si le but principal d'un système de suivi-évaluation – je comprends qu'il fait aussi allusion à un système attribuant une attention équitable aux deux fonctions - était d'accompagner la mise en œuvre d'une intervention dans un sens de réflexion critique permanente afin d'atteindre les résultats assignés à cette intervention et alerter sur les conditions critiques de son implémentation, alors une révision – je dirais personnellement, refonte – du système de suivi-évaluation s'avère nécessaire. Il me laisse penser à une refonte d'un système qui redonne un peu plus de place au suivi. Et il termine en martelant que les politiques de développement – j'imagine qu'il fait allusion à celles dans les pays récipiendaires de l'aide au développement - ne donnent pas assez d'importance au suivi des ODD; elles ne font que compiler des données envoyées par les programmes mis en œuvre avec les partenaires étrangers afin d'exprimer le progrès réalisé par rapport à tel ou tel indicateur. Ce qui est loin d'être une bonne pratique en ce qui concerne le suivi tant cette fonction devient fortement imprégnée par un adhocisme effrayant.

En capitalisant les choses essentielles de ces contributions, au moins deux contributions (Aurèlie et Diagne) reconnaissent qu'une refonte profonde des systèmes nationaux de suivi-évaluation s'avère nécessaire à l'ère de la gestion axée sur les résultats et de tous les autres corollaires axés sur les résultats, afin de donner plus d'assise à la fonction de suivi.

Ce que nous pouvons relever de toutes ces contributions est que l'on a une unanimité sur l'intérêt et l'importance de renforcer la complémentarité entre suivi et évaluation comme deux fonctions renforçant mutuellement l'une l'autre mais nous ne savons pas comment s'y prendre pour construire une fonction de suivi digne de la pratique actuelle de l'évaluation. Comme il est dit dans un certain bon sens, l'identification des bonnes causes d'un problème est déjà la moitié de la solution de ce problème. Selon moi, la cause essentielle de l'inadéquation entre le suivi et l'évaluation est le fait que l'évaluation a été consolidée – presque imposée - par les bailleurs de fond et les partenaires de développement parce qu'elle répond plus à leurs préoccupations de performance des programmes qu'ils financent ou qu'ils mettent en œuvre. Par contre, le suivi est une fonction plus intrinsèque à l'administration des politiques de développement pour les pays récipiendaires de l'aide au développement et une telle fonction ne semble pas encore paraitre importante pour les gouvernants de ce pays pour plusieurs raisons. Comme il y a très peu d'investissement extérieur dans la fonction de suivi au niveau national, cela alimente l'inadéquation entre ces deux fonctions. Donc s'il y a quelque chose à faire pour atténuer cette inadéquation, il faut alors inciter les bailleurs de fonds et les partenaires de développements d'investir des actions de renforcement des systèmes nationaux de suivi-évaluation pour donner plus d'épaisseur au suivi et conduire des programmes d'action afin de convaincre les gouvernants des pays récipiendaires de l'aide au développement de l'intérêt et de l'importance de renforcer la fonction de suivi dans les systèmes nationaux de suivi-évaluation.

Espérons que cette contribution va rallumer le débat sur cette thématique…

Mustapha

I hope everyone is healthy and take good care of yourselves and families, particularly our colleagues working in Rome. Are you all able to work from home and keep up with the development efforts? It does provide a good chance for us emeritus people to draft responses to various forum of interest.

Regarding the interest in M&E, either individually or jointly, my concern is that the value of the exercise is only as good as the questions being asked, the way the data is tabulated, and the finances available to implement the M&E program, particularly within a host governments with limited tax base to support any services including development activities. Associated with this is the stated vs. underlying objective of the M&E effort. As I understand M&E it is designed to be an independent effort on behalf of the underwriting taxpayers to assure the development money is well invested and not wasted as well as guide future projects to more effectively address the objective and allow projects to effectively evolve to better serve the intended beneficiaries. It should not be a propaganda tool to promote projects as successful when by all normal business standards, they are complete failures. As I have listened to many of the USAID MEL (Monitoring, Evaluation, & Learning) webinar and reviewed numerous project reports I am left with the distinct impression the MEL effort is primary to deceive the American public and the elected members of Congress into thinking they are making major contributions to rural poverty alleviation of smallholder farmers, while most of the intended beneficiaries are avoiding active participation like it were the plague, or perhaps the current coronavirus. This may effectively attract continued funding but does nothing for beneficiaries other than keep them deeply entrenched in poverty. More likely M&E activities diverted to project propagandizing will have a substantial negative impact as it reinforces failed programs into future programs preventing them for evolving to better serve the beneficiaries.

Allow me to illustrate use poverty alleviation for smallholder farmers as reference beneficiaries:

Missed question: One question that has been overlooked for most of the last 50 years is the timing of agronomic activities starting with crop establishment. This gets to the limitations of Agronomy research which does an excellent job of determining the physical potential of an area but says nothing about the operational requirements to extend the small plot research across the rest of the farm or community. The assumption is that labor or contract mechanization is readily available, and the farmers only need to be “taught” the value of early planting. A valid M&E effort 50 years ago seeking information including simple field observations on the timing of agronomic operations would have noted that under manual operations crop establishment was spread over 8 weeks or more with rapidly declining yields with the delay to the point it is impossible for manual agriculture to meet basic family food security. If the M&E programs did pick that up the whole poverty alleviation effort would have shifted from badgering smallholders on the importance of early planting and focus on providing access to the operational requirements such as access to contract tillage that would make timing of crop establishment discretionary. It would also note to the extent the current emphasis is on value chain development as a means to promote additional production with the underlying assumption there is surplus operating capacity, is premature until after the operational capacity is increased so farmers could get their crops planted in a more timely manner, produce enough to meet family food security and still have ample production to justify the improved value chain.

Webpage References:

https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFeasibility.pdf

https://smallholderagriculture.agsci.colostate.edu/integration-an-under-appreciated-component-of-technology-transfer/

https://smallholderagriculture.agsci.colostate.edu/most-effective-project-enhancing-access-to-contract-mechanization-via-reconditioned-used-tractors/

https://webdoc.agsci.colostate.edu/smallholderagriculture/BrinksDrudgery.pdf

The failure to identify the operational limits of smallholder farmers has a major impact on the current emphasis for quality nutrition. Here the underlying question is what are the calories needed to optimize the economic opportunities which are largely associated with heavy manual agronomic field work?  This requires at least 4000 kcal/day but with the manual agriculture most farmers are limited to 2000 to 2500 kcal/day barely meeting the 2000 kcal/day basic metabolism, with only enough work calories for a couple diligent hours of manual labor. That may go a long way to explaining the 8-week crop establishment time. But it does mean that it will be difficult to accept a diversified diet if it requires less calories which in turn will reduce their economic opportunity including crop production. However, the nutrition M&E emphasis the impressive number of “beneficiaries” informed without looking at their compromises in being able to utilize the information and the affordability of the improved nutrition vs. available income. The whole concept of dietary requirement to meet economic opportunities seems completely lost to the nutrition improvement effort but certainly not the “beneficiaries” being badgered with nutritional information they cannot use. How often are our proposed agronomic interventions more labor intensive and thus an attempt to obligate hungry exhausted smallholders to exert energy will in excess of their available calories, possibility as much as twice their available calories. When doing so have we met the definition of genocide or come very close to doing such?

                Webpage References:

                https://webdoc.agsci.colostate.edu/smallholderagriculture/ECHO-Diet.pdf

                https://smallholderagriculture.agsci.colostate.edu/ethiopia-diet-analysis/

                https://webdoc.agsci.colostate.edu/smallholderagriculture/DietPoster.pdf

                https://smallholderagriculture.agsci.colostate.edu/1028-2/

    https://smallholderagriculture.agsci.colostate.edu/affordability-of-improved-nutrition-while-optimizing-economic-opportunities/

 

Data Manipulation: Even if quality M&E data is collected it could be tabulated either as a propaganda tool to promote programs even if they are basically a failure or as a guide the evolution of future programs. There basically two ways of tabulating M&E data. If you are interested in using M&E for propaganda promotions of the project regardless of how successful it is you simply report to aggregate totals of the data.  With a large multi-nation with multi-programs within a nation it can easily provide some highly impressive number, often in the hundreds of thousands. This will appease the public perhaps assure future funding but be meaningless as evaluation tool.  A more effective evaluation tool for guiding future project would the expressing the same data as a percent of the potential. Using my pet concern of the overemphasis on farmer organizations to funnel assistance to smallholder farmers. It is possible and the USAID MEL program routinely does, claim they are assisting several hundred thousand smallholder farmers, but a more detailed analysis would indicate rarely do they have more than 10% of the potential farmers, within the smallholder communities they are claiming to assist,  actively participating and even then they will divert most of their business to alternative service  providers. Thus, they may be assisting a few hundred thousand but have a few million potential beneficiaries avoiding the project. Then since most of the active members will side sell all but what is needed for loan repayments, the total market share from the community will be a trivial less than 5% and virtually no impact on the overall communities’ economy.  Not what would be considered a success by most business standards!! What is urgently needed here is an upfront statement of what will constitute a minimal successful project in terms of percent of potential beneficiaries actively participating in the project and the market share funneled through the project. All expressed in percent of the community.

This target for a success project needs to be consistent with what the underlying taxpayers are expecting. In the case of farmer organizations, the expectation is over 60% participation and over 50% market share. Can anyone come close to this level of success particularly when projects are openly attempting to compete with private service providers?? A good sincere M&E program, either individual or together, should have realized this some 30 years ago and if so the development effort would have carefully looked at alternatives, including accepting that the much vilified private service providers were effective efficient business models that actually provide the farmers the financially best and most convenient business services. Also, it would not take a lot of effort to appreciate the farmer organization model is administratively too cumbersome to compete with private service providers. The overhead costs of operating a farmer organization substantially exceeded the private service profit margins so relying on farmer organization would drive the smallholder members deeper into poverty despite the massive rhetoric about poverty alleviation. Thus, the farmers wisely avoid the farmers organization so that they require continuous external support and facilitation and fully collapse once external support ends.  

                Webpage references:

https://smallholderagriculture.agsci.colostate.edu/perpetuating-cooperatives-deceptivedishonest-spin-reporting/

https://smallholderagriculture.agsci.colostate.edu/appeasement-reporting-in-development-projects-satisfying-donors-at-the-expense-of-beneficiaries/

https://smallholderagriculture.agsci.colostate.edu/relying-on-cooperatives-taxpayers-expectations/

https://smallholderagriculture.agsci.colostate.edu/loss-of-competitive-advantage-areas-of-concern/

https://smallholderagriculture.agsci.colostate.edu/farmers-organizations-and-cooperatives-is-there-a-competitive-adantage/

 

Financial Limits: The concern with financial limits is that host government are working with a limited tax base to provide support services for which the administrative nature of a national M&E program just cannot get the priority needed for quality data collection. The overall economic environment in most host countries is what I refer to as financially suppressed. This is an economy with such a high level of poverty that most families spend 80% of wages or production just to obtain a meager diet for their family even when the consumer prices are only 1/3rd to 1/5th the USA or EU prices. With that percent of income devoted to survival there just is not enough “discretionary” income to make an effective tax base for the government to raise funds for civil services. Sorry but no taxes no services. The result is that for all practical purposes the government is financially stalled. I think this is why, in previous comments, most of the M&E was done through NGOs with access to external funds.  The problem is when you try and compel a government to undertake an administrative task that cannot be fully funded including the operational costs for the field trips necessary to collect reliable information, the quality and reliability of the task become questionable. With no funds but pressure to provide the data, civil officers will often simply complete the information as best they can according to what they perceive is taking place. It is the best they can do but could be far from reality. It should be noted that virtually 90% of all smallholder farmers in most host countries have never interacted with a civil officer including village agricultural extension officers. It is really better not to ask for a M&E program than have one completed by perception instead of facts.

                Webpage References:

https://smallholderagriculture.agsci.colostate.edu/financially-suppressed-economy-2/

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-governments/

https://smallholderagriculture.agsci.colostate.edu/impact-of-financially-stalled-government-limited-variety-improvement-seed-certification/

 

The bottom line of this comment is to be very careful and make certain any M&E program alone or combined is mechanism for representing the beneficiaries and advancing the development effort and does not become a means for embellishing programs that may be socially desirable but for which the beneficiaries are avoiding like the current virus. It will be very difficult to meet the SDG when the M&E activities are more promoting and instituting failed programs instead of guiding the evolution of programs to better serve the beneficiaries.

                Webpage Reference:

https://smallholderagriculture.agsci.colostate.edu/monitoring-evaluation-the-voice-of-the-beneficiaries/

Cher Moustapha et les autres,

Merci pour ces contributions, qui nous en disent long sur les questions de suivi et d’évaluation.

Dans la plupart des cas de définition des plans de suivi et d’évaluation, les acteurs ne se concentrent pas sur le terrain et sur l’objet du système, nous sommes plus concentrés sur les fonctions et les outils en fonction des besoins d’information parrainés par le donateur ou d’autres parties prenantes. Toutefois, si l’objectif principal du suivi et de l’évaluation est d’accompagner la mise en œuvre dans le sens d’une réflexion critique permanente pour obtenir les résultats et d’alerter sur les conditions critiques de la mise en œuvre de l’intervention, nous avons un défi dans la révision des plans de surveillance et d’évaluation. Pour certains, le suivi et l’évaluation sont deux fonctions complémentaires et pour d’autres, il s’agit d’une fonction unique de suivi-évaluation avec des activités de suivi permanentes et des activités d’évaluation périodiques et thématiques suivant les lignes directrices d’intervention. Aujourd’hui, nous sommes à l’ère de la gestion axée sur les résultats et de la budgétisation axée sur les résultats, d’où le lieu essentiel de suivi et d’évaluation pour le succès des programmes ou même la réalisation des ODD. Les programmes investissent davantage dans les réalisations et la communication et moins dans le suivi et l’évaluation, ce qui nécessite beaucoup de ressources conditionnées par l’employeur de l’intervention. Aujourd’hui, avec la numérisation des systèmes, nous avons moins de ressources humaines, mais cela n’empêche pas le coût des ressources matérielles de rester élevé pour une bonne mise en œuvre. Dans la plupart des pays, en particulier dans les pays en développement, les politiques de développement n’accordent pas beaucoup d’importance au suivi et à l’évaluation des ODD. Ils compilent les données reçues des programmes avec des partenaires pour exprimer des progrès, ce qui n’est pas une solution pertinente pour la nature objective du suivi et de l’évaluation. En 2016, j’ai proposé le projet ADMA (African Durable Measurement Agency) pour surmonter ce problème afin de résoudre la question de la pertinence et de l’incohérence des interventions dans la même localité et de noter les interventions par leur contribution à la réalisation des ODDs... (ci-joint).

Cher Mustapha,

Merci pour votre message, qui soulève de nombreux sujets importants !

Pour n'en reprendre que quelques-uns, je commencerais par affirmer haut et fort que le suivi et l'évaluation ne sont en aucun cas mutuellement exclusifs et sont incontestablement complémentaires.

Il est peut-être vrai que l'évaluation se soit bien développée en tant que pratique, et plus encore que sa fonction sœur de suivi. Cela dit, une étude que nous avons réalisée (sur laquelle nous avons récemment partagé des résultats préliminaires - voir https://www.evalforward.org/fr/blog/evaluation-agriculture ) semble indiquer que dans de nombreux pays en développement, les évaluations se font surtout lorsqu'elles sont appuyées par un financement externe dédié: une indication que la ‘grande sœur’ n'est pas encore établie dans un modèle durable…

Votre message soulève quoi qu’il en soit une grande question, qui me préoccupe également: pourquoi la fonction de suivi n'a-t-elle pas encore fait l'objet du même intérêt de la part des donateurs; pourquoi les systèmes de suivi ne sont-ils pas exigés en priorité, compte tenu caractère essentiel de cet outil pour tirer des enseignements des actions passées et améliorer les actions futures à temps? Comme notre étude l'a également révélé, avant de promouvoir l'évaluation, les pays doivent mettre en place une culture générale de gestion axée sur les résultats, qui commence, avant même le suivi, par une planification axée autour des résultats.

Il est un fait que dans de nombreuses institutions, du niveau national au niveau international, le suivi est encore largement sous-estimé, sous-investi. Une façon serait peut-être de commencer par identifier qui a la plus fort intérêt à ce que le «S» remplisse sa fonction : d’identification de ce qui fonctionne ou pas, et causes et circonstances de ces dynamiques. À cet égard, nous, évaluateurs, pourrions jouer un rôle de soutient à l'émergence de cette fonction, dans nos sphères d'influence respectives; quitte à mettre de côté notre bien aimée indépendance pour un temps?… Qu’en pensent les autres évaluateurs?

Tout de bon à vous tous,

Aurélie

Cher Mustapha, merci d’avoir soulevé ce sujet important.

À mon avis, le suivi et l’évaluation sont complémentaires et les deux sont nécessaires pour évaluer et corriger la performance des interventions de développement. La raison pour laquelle ils peuvent sembler s’excluer mutuellement est que, dans la plupart des cas, la surveillance est pleinement intégrée dans la gestion de l’intervention, les spécialistes faisant du suivi faisant partie de l’équipe d’intervention alors que l’évaluation est souvent positionnée comme externe et les politiques d’évaluation adoptées par de nombreux acteurs dans le domaine du développement comprennent de sérieuses garanties pour assurer l’indépendance de l’équipe d’évaluation.

À ma connaissance dans de nombreux pays moins développés, il y a un nombre croissant de départements de fusions et acquisitions dans les organismes exécutifs nationaux, ce qui peut être interprété comme un signe que la surveillance et l’évaluation sont considérées comme complémentaires. À l’heure actuelle, ces départements se concentreraient davantage sur le suivi que sur l’évaluation et l’évaluation qu’ils font se limiterait souvent à comparer l’étendue de la réalisation des objectifs pour un ensemble d’indicateurs présélectionnés.

Je conviens que le suivi ne reçoit pas beaucoup d’attention au sein de la communauté de l’évaluation, mais elle est positionnée comme faisant partie intégrante de la gestion axée sur les résultats (RBM) et fait partie des discussions au sein de la communauté RBM.

Je pense également que le suivi et l’évaluation pourraient en bénéficier si nous parlions davantage de complémentarité des deux pratiques. Par exemple, dans mon expérience, les théories du changement, un instrument qui a émergé de la pratique de l’évaluation, sont plus utiles lorsqu’elles sont développées au cours de la phase de planification de l’intervention et servent de base à l’élaboration de son système de suivi. Et les évaluations pourraient être plus utiles en ce qui concerne la génération de leçons tirées de la pratique de l’intervention si les termes de référence d’évaluation et les questions d’évaluation étaient informés par des questions que les équipes d’intervention ont lorsqu’elles examinent leurs données de suivi.

En ce qui concerne la mise en œuvre des ODD, compte tenu de la complexité des questions que les pays et les partenaires au développement doivent aborder pour atteindre les ODD et, par conséquent, la nécessité d’utiliser des approches novatrices et une adaptation constante des interventions, je pense que nous devrions parler d’une plus grande intégration entre le suivi et l’évaluation afin que l’équipe d’intervention puisse commander une évaluation lorsque ses données de surveillance indiquent que l’intervention peut être hors de la bonne voie et utiliser les résultats de cette évaluation pour voir si une adaptation est nécessaire.

Natalia Kosheleva

Consultant en évaluation