Un manque d'apprentissage dans le suivi et évaluation des projets agricoles

Chers tous

Merci beaucoup pour vos contributions utiles. Ces discussions sont très intéressantes et reflètent les mérites et les inconvénients des systèmes MEAL. Je sais que vous avez couvert la plupart des idées et des expériences. Seuls quelques points doivent être pris en compte sur la base de notre expérience pratique :

1. Il est nécessaire de développer une culture de compréhension du fait que MEAL est conçu pour soutenir une meilleure prise de décision basée sur des preuves et non pour espionner ou trouver des erreurs.

2. Le MEAL et le programme doivent travailler ensemble et non pas isolément, et les résultats des activités MEAL doivent être utilisés pour de meilleures améliorations et prises de décision afin de répondre aux besoins et aux lacunes sur le terrain et non pas comme Emma Nthandose Gausi le dit "Dans la plupart des projets/programmes, le processus de S&E a été relégué à une activité de collecte et de traitement de données UNIQUEMENT. Et ces données/informations sont toujours utilisées pour répondre aux exigences des bailleurs de fonds. L'apprentissage du S&E devrait être une priorité tout au long du cycle du projet" https://www.evalforward.org/members/emma-gausi 

3. Pour obtenir un retour d'information fiable et précis de la part des parties prenantes au sein des communautés, comme les agriculteurs ou toute autre personne, 1. partager des informations claires sur tout ce que nous faisons dans le cadre de nos interventions, (informations nécessaires comme l'objectif du projet, sa durée, les critères de sélection, les avantages et les changements que les communautés obtiendront), 2. une participation et une implication réelles des personnes ciblées, de la conception à la clôture de nos projets. 

4. Renforcer la défense des valeurs, des principes humanitaires et des principes de responsabilité afin que les parties prenantes participent à la modification/adaptation des politiques locales et de la compréhension pour améliorer la qualité et la pratique, la coopération et l'acceptation. 

Remerciements

Chers tous,

Merci infiniment pour toutes vos réponses variées et précieuses. Je les ai prises en compte pour formuler quelques remarques conclusives, en espérant que vous les jugerez utiles.

Pour rendre le suivi efficace, il convient d'éviter de le laisser aux mains de personnes expertes en théorisation, adeptes d'un langage excessivement compliqué et rompues à l'éventail des méthodologies mais qui ne sont peut-être pas les juges naturels de la performance. Il est compréhensible que cela décourage de nombreux membres et responsables d'équipe.

Comme certains d'entre vous l'ont évoqué, les activités de suivi et évaluation produisent souvent une quantité de chiffres et de comparaisons qui offrent peu de visibilité sur la performance. Ils servent plutôt à justifier l'investissement et peuvent même esquisser une image déformée de la réalité. Les gestionnaires doivent s'approprier le suivi – trouver des mesures, tant qualitatives que quantitatives, qui passent outre le budget actuel et les résultats précédents et apportent des réponses aux questions permettant de déterminer dans quelle mesure le programme ou le projet peut attirer et retenir au mieux les destinataires et les bénéficiaires à l'avenir.

Voici cinq points à retenir de la discussion, présentés sous forme de conseils:

1. Évitez les écueils élémentaires dans la conception

1. Les changements prennent du temps. Soyez réaliste quand vous définissez les réalisations (quels changements dans les comportements et les relations entre les groupes de destinataires auront lieu) et l'impact (quelles conséquences à long terme ces changements stimuleront-ils géographiquement en dehors de la zone du programme et/ou dans les vies et les moyens d'existence des destinataires).
2. Pour les programmes relatifs aux systèmes de marché: i) les systèmes agricoles sont eux aussi des systèmes et doivent faire l'objet d'un diagnostic approprié; ii) ne faites pas référence prématurément, lors de la phase pilote, à un changement au niveau du système dans la hiérarchie des différents résultats et abordez l'impact concernant uniquement le changement au niveau de l'agriculteur; iii) la phase d'entraînement concerne, par définition, l'impact au sens géographique ou spatial; il est rarement possible de l'observer et encore moins de le «mesurer» dans le cadre des calendriers de projet prédéfinis. Voici une version «édulcorée» de la manière dont le M4P (faire fonctionner les marchés pour les pauvres) a tiré des leçons de sa propre expérience:

https://assets.publishing.service.gov.uk/media/5f4647bb8fa8f517da50f54a/Agriculture_Learning_Review_for_publication_Aug_2020.pdf

3. Veiller à ce que les réalisations et ses indicateurs reflètent les besoins et les aspirations de ceux qui sont dans le besoin et non pas ceux des donateurs – par exemple, ne considérez pas que tous les agriculteurs aspirent à augmenter les performances de la terre (gains de productivité/rendement par exemple). Souvent le facteur limitant est la main d'œuvre et non la terre.

3. Distinguez les compétences nécessaires pour le suivi de celles nécessaires pour l'évaluation
4. Expliquez clairement en quoi le suivi vise à aider les responsables à lever leurs incertitudes, souvent au niveau des hypothèses, pour leur prise de décisions, en répondant à des questions. Ce faisant, distinguez clairement ces dernières des questions auxquelles les évaluateurs – souvent issus du monde de la recherche – sont habitués à répondre, généralement à la demande du donateur.
5. Recourez à l'analogie utile avec la comptabilité (suivi) et l'audit (évaluation) pour faciliter la distinction – ces activités interviennent pour différentes raisons, à différents moments, par et pour différentes personnes. Vous pouvez être l'évaluateur le «meilleur de la classe», qui développe des méthodes, intervient lors de conférences, publie, enseigne, participe à des formations de suivi et évaluation. Ces compétences et expériences font-elles de vous le «meilleur de la classe» pour le suivi? Non, pas nécessairement et même rarement. Toutefois il est surprenant de voir l'influence et l'emprise qu'ont l'évaluation et les évaluateurs sur la pratique du suivi – de l'évaluation évolutive?

3. Discutez des besoins d'informations avec les donateurs.  

1. Définissez sans ambiguïté les informations nécessaires pour gérer la mise en œuvre en les conciliant avec la nécessité de rendre des comptes au destinataire tout comme, voire plus encore, au bailleur, et faites-le avant de développer une théorie du changement et/ou un cadre de résultats.
2. Ciblez ces besoins en informations sur les perceptions des agriculteurs destinataires et leur accueil, acceptation ou rejet du projet – être redevable envers eux, plutôt qu'envers les bailleurs en prenant connaissance de leurs problèmes administratifs, contribuera à l'apprentissage;
3. Ne limitez pas les besoins en informations des gestionnaires et des destinataires aux indicateurs dans un cadre logique et ne développez pas aveuglément un plan de "mesure" ou de suivi et évaluation. Cette voie mène à une détérioration qualitative du suivi. Pour le suivi, les hypothèses ou l'inconnu comptent souvent plus que les indicateurs, quand on travaille dans des environnements opérationnels imprévisibles. Enfin: «Il ne s'agit pas de battre les chiffres de l'année dernière; un système de mesure de la performance doit vous indiquer si les décisions que vous prenez maintenant vous aideront, vous et ceux que vous soutenez, dans les prochains mois»[1].

4. Intégrez le processus de suivi dans ceux d'autres personnes et processus.

1. Intégrez dans les descriptions de poste des fournisseurs de l'aide des questions qu'ils peuvent utiliser pour développer leurs relations avec les destinataires et mieux les connaître – voir le point 3a) ci-dessus.
2. Utilisez le Activity Based Costing (coût par activité) afin d'encourager les experts financiers à travailler avec ceux qui sont chargés de fournir les réalisations – cela permet de calculer le coût des activités et de relier ainsi le suivi financier et le suivi non-financier (cela vous permettra de répondre aux questions sur le rapport qualité-prix, si nécessaire).
3. Une bonne prise de décision en matière de gestion consiste à faire des choix; les informations de suivi doivent les éclairer. Une décision visant à interrompre une activité ou à la mener différemment doit être analysée avec autant d'attention qu'une décision consistant à la faire de manière entièrement nouvelle.

5. Soyez curieux tout en restant simple
   1. Ignorez les déclarations de dogmes ou règles méthodologiques rigides. Comme certains d'entre vous l'ont mentionné, il existe de nombreux documents très utiles en la matière, anciens ou récents. Prenez le risque de penser par vous-même...
   2. Restez simple et évitez de rendre les choses plus compliquées en suivant les tendances ou le jargon qui isole le suivi à travers un langage impénétrable.

«Si vous ne pouvez pas l'expliquer simplement, c'est que vous ne le comprenez pas assez bien.»

Cher Richard,
Je vous remercie de m'avoir fourni le lien vers vos réflexions sur le suivi et l'évaluation. C'est une lecture révélatrice et stimulante. J'ai particulièrement apprécié, tout en étant surpris par la persistance des questions que vous soulevez, notamment :

# 3 Sur les conséquences limitées des parcelles de recherche (à la ferme ?) en ce qui concerne la diffusion des pratiques/technologies sur les autres parcelles de l'agriculteur et/ou parmi les autres agriculteurs de la communauté.
Tout ceci est en contradiction avec la recherche sur les systèmes agricoles qui se concentre sur la pensée systémique et le travail de Chamber sur l'agriculteur d'abord, qui remonte aux années 1980. Comment pouvons-nous rappeler ces leçons, et d'autres encore, aux personnes associées aux programmes actuels de systèmes de marché agricole ?

# 4 Sur la manière dont les donateurs partent du principe que la terre, et non la main d'œuvre, est le facteur limitant et que l'indicateur de choix, pour les non-initiés, est l'accès physique ou financier à la terre - les rendements - sans se préoccuper de savoir pourquoi les petits exploitants agricoles cultivent telle ou telle chose.

 Votre référence, plus loin dans le document, au poème de Kipling "Le fardeau de l'homme blanc" m'a rappelé le livre de William Easterly portant le même titre (emprunté). Son message principal porte sur l'imposition par l'Occident de grands projets conçus par les "amis de l'Afrique" - la Commission pour l'Afrique de Tony Blair, les Villages du Millénaire de Sachs et le programme Feed the Future d'Obama. Dans le domaine de l'agriculture, contrairement à la santé et à l'éducation, les agriculteurs ne sont pas des patients traités par des médecins ou des élèves enseignés par des professeurs, ce sont eux les experts.

La semaine dernière, EvalForward a proposé un webinaire intéressant de l' UNEG sur l'évaluation et la résilience climatique. Ce qui m'a intéressé, c'est le peu de choses que les évaluations révèlent sur l'agriculture indigène "intelligente face au climat". Le terme semble se limiter à une pratique introduite dans les communautés agricoles sans nécessairement apprendre comment, par exemple, les concepts indigènes de dynamique de l'humidité du sol pourraient expliquer les fluctuations saisonnières et interannuelles contrastées de la productivité agricole, de la nutrition, de la santé, de la mortalité et même des taux de mariage à travers la limite d'un type de sol.    

#11 Sur la façon dont le suivi et l'évaluation servent davantage à masquer les échecs et leur adéquation avec les attentes des payeurs de taxes. Les machines d'évaluation (sans esprit) de Peter Dahler Larssen définissent un bon exemple de ce à quoi je pense que vous faites référence ici.  Avec Estelle Raimondo, il a présenté un excellent exposé des pratiques d'évaluation actuelles lors de la conférence européenne sur l'évaluation de l'année dernière. En ce qui concerne la question des payeurs de taxes, il y a quelques années, une recherche intéressante a mis en évidence le fait que les payeurs de taxes britanniques ne veulent pas de chiffres, mais plutôt des histoires sur le comment et le pourquoi de l'aide, ou de son échec. Le fait est que le DFID n'est pas responsable devant le contribuable britannique, mais devant le Trésor (qui veut des chiffres). Les chiffres, comme le disent Dahler-Larden et Raimondo, sont l'un des angles morts de l'évaluation. 
 
Je m'excuse pour ce coup de gueule du lundi après-midi et je vous remercie à nouveau pour votre contribution à l'écriture.

Dans un précédent message, j'ai présenté la section sur le suivi et l'évaluation d'un document plus vaste que je suis en train de préparer et qui reflète mes 50 années et plus d'assistance aux communautés de petits exploitants. Le document complet est maintenant disponible sur le site web de smallholderagriculture que je gère (en anglais). Veuillez noter que ce document s'intéresse davantage à l'exactitude des faits qu'au politiquement correct. Le lien direct est le suivant: 

https://agsci.colostate.edu/smallholderagriculture/wp-content/uploads/s…;

J'espère que vous aurez l'occasion de le lire et qu'il vous éclairera sur la manière de mieux servir les communautés de petits exploitants. Je vous remercie de votre attention.

Je vous remercie tous d'avoir pris le temps de partager vos expériences et vos points de vue. Je publierai, sur la base de vos commentaires, quelques conclusions et conseils lorsque la discussion se terminera la semaine prochaine. 

En attendant, j'aimerais apporter quelques premières réponses tirées de vos commentaires.

1. Pour que le suivi soit utile, il ne faut pas le confier à des personnes qui ne sont pas forcément des juges naturels de la performance, qu'il s'agisse d'employés d'organismes donateurs ou de leurs agents. Il s'agit de personnes qui maîtrisent parfaitement l'élaboration de cadres et de théories du changement, qui utilisent un langage trop compliqué et qui sont familières avec toute une série de méthodologies exigées par le bailleur de fonds. Il est compréhensible que cela décourage de nombreux membres de l'équipe et managers. Cela semble ennuyeux et onéreux. À tel point que, pour certains, il n'est même pas clair qu'il s'agisse d'une profession. Peut-être le suivi n'est-il qu'un processus d'apprentissage artificiel propre à l'aide au développement ?

2. La mode qui consiste à ajouter des lettres à l'acronyme M&E, telles que L - Learning (apprentissage), A - Accountability (responsabilité), R - Results (résultats), semble être davantage axée sur l'affect que sur l'effet. Comme certains d'entre vous, je me demande pourquoi quelques-uns considèrent cela comme révélateur ou utile. Cela définit la fatuité dans laquelle certains d'entre nous travaillent.

3. Cela détourne également l'attention de la chose la plus importante que beaucoup d'entre vous soulignent. Écouter et apprendre de ceux qui comptent le plus - les clients ou bénéficiaires finaux. Ce sont également les experts. Trop souvent, leur voix et leurs objectifs sont évincés par ceux des donateurs, généralement définis dans des cadres logiques ou des cadres de résultats. L'obligation de rendre compte aux donateurs, et non aux bénéficiaires, semble plus courante qu'on ne l'aurait attendu ou espéré, et cette situation est contraignante pour les autres parties prenantes.

4. Comme certains d'entre vous l'ont mentionné, il en résulte inévitablement une masse de chiffres et de comparaisons qui ne donnent que peu d'indications sur les performances. Certains exigent même une suspension de la croyance compte tenu des périodes de mise en œuvre habituelles. Ils sont plutôt utilisés pour justifier l'investissement auprès des donateurs et peuvent même donner une image déformée de la réalité. Il ne s'agit pas de battre les chiffres de l'année précédente.

5. Les gestionnaires doivent s'approprier le suivi - trouver des mesures, qualitatives et quantitatives, qui vont au-delà du budget actuel et des résultats antérieurs et qui posent des questions. Des questions qui révèlent des réponses permettant de déterminer comment le programme ou le projet peut être mieux adapté et plus réactif afin de mieux "atterrir" ou d'être acceptable pour les clients bénéficiaires à l'avenir.  

Merci encore et s'il y a d'autres contributions ou réponses à ce qui précède...

Avec mes meilleurs vœux et mes bons week-ends,

Daniel

Excellent commentaire Nayeli ! Mais il y a encore un long chemin à parcourir pour mettre en œuvre la culture du suivi et de l'évaluation dans les projets, les programmes et les politiques de nos pays (je parle depuis l'Uruguay). Dans mon pays, il n'existe une agence d'évaluation pour le pouvoir exécutif que depuis quelques années (je pense que le Mexique est plus avancé à cet égard, car la FAO a fourni un service d'évaluation indépendant pour les politiques publiques il y a quelques années). Le pouvoir législatif étudie actuellement la meilleure façon de faire progresser le suivi et l'évaluation de son travail.

Désolé, mais je voudrais exprimer mon désaccord avec les commentaires d'Ablaye Layepresi Gaye concernant le manque d'expérience et de connaissances des agriculteurs. Je me demande si ce qu'il observe est réellement l'impact d'une capacité opérationnelle limitée pour se conformer aux recommandations. Peut-il confirmer que les agriculteurs ont accès à suffisamment de main-d'œuvre pour mener à bien les diverses activités de gestion des cultures dans les délais souhaités ? Il s'agit de 300 heures de travail par hectare pour la préparation manuelle (binage) du sol. Cette main-d'œuvre dispose-t-elle du régime alimentaire nécessaire de 4000 kcal/jour qui lui permettra d'entreprendre une journée entière de travail agronomique sur le terrain, ou est-elle limitée à 2000 - 2500 kcal/jour, ce qui, après soustraction de 2000 kcal/jour pour le métabolisme de base, ne laisse que quelques centaines de kcal/jour pour le travail, à 280 kcal/heure, soit peut-être deux heures d'effort assidu. Ce à quoi il s'oppose, c'est aux compromis rationnels que les agriculteurs doivent faire pour adapter la recommandation à leur capacité opérationnelle limitée. Plutôt que de harceler les agriculteurs sur des informations qu'ils connaissent déjà assez bien, mais qu'ils n'ont pas les moyens d'utiliser, ne vaudrait-il pas mieux leur faciliter l'accès à des ressources opérationnelles supplémentaires qui leur permettraient de se conformer plus facilement aux pratiques de gestion souhaitées ? Il s'agit d'un domaine qui est traditionnellement négligé et qui relève d'un vide administratif entre les agronomes et les spécialistes des sciences sociales qui assistent les communautés de petits exploitants. Veuillez consulter les pages web suivantes (en anglais) :

https://agsci.colostate.edu/smallholderagriculture/wp-content/uploads/s…;

https://webdoc.agsci.colostate.edu/smallholderagriculture/OperationalFe…

https://agsci.colostate.edu/smallholderagriculture/calorie-energy-balan…

Merci

Le processus de mise en œuvre des systèmes de suivi et d'évaluation est récent, peut-être depuis 6 ou 7 ans de manière formelle. Dans les pays qui font l'objet de projets de développement rural et de conservation de la part de donateurs internationaux, comme le Mexique, les capacités mises en place répondent aux exigences des donateurs et non à des profils consolidés. Il est très intéressant de constater qu'au Mexique et dans la région Amérique latine et Caraïbes, le développement du suivi et de l'évaluation s'est concentré sur les programmes relatifs aux droits de l'homme, à l'économie et à l'éducation. 

Il me semble qu'en tant que secteur, nous devrions utiliser davantage les outils développés par les agences des Nations unies axées sur le développement rural (FAO, PAM, FIDA), mais leur intégration serait encore plus efficace si ces agences cherchaient à se faire connaître auprès des gouvernements et à les promouvoir en tant que référence à suivre.

De nos jours le vrai problème que nous constatons après une longue suivi et évaluation dans le secteur agricole est le manque d'expérience des agriculteurs mais surtout de connaissances de base qui est une chose à rectifier. 

Il s'agit d'une discussion intéressante. Je pense que la plupart du temps, lorsque nous concevons des systèmes de suivi et d'évaluation, nous ne réfléchissons pas à la manière dont le processus de suivi et d'évaluation pourrait bénéficier à l'ensemble des parties prenantes d'une intervention, en particulier aux agriculteurs. Dans la plupart des projets/programmes, le processus de suivi et d'évaluation a été relégué à une activité de collecte et de traitement de données UNIQUEMENT. Et ces données/informations sont toujours utilisées pour répondre aux exigences des bailleurs de fonds. L'apprentissage du suivi et de l'évaluation devrait être une priorité tout au long du cycle du projet. Il n'y a généralement que peu ou pas de "suivi et d'évaluation" des systèmes de suivi et d'évaluation de nos interventions qui nous aideraient à comprendre s'ils sont efficaces. J'ai vu quelques évaluations d'agriculteurs qui participaient à certaines activités de suivi et d'évaluation à des fins d'apprentissage. Mais la plupart du temps, les agriculteurs n'apprécient pas ces activités parce qu'elles leur sont imposées. Ils ne comprennent pas ce qu'ils font ni pourquoi ils le font, car ils ont l'impression qu'on leur impose le processus.

Cher Daniel,

Merci d'avoir lancé cette discussion. D'après mon expérience, les partenaires de développement continuent à utiliser des indicateurs d'impact à long terme qui ont peu de chances d'être atteints après la durée de vie du projet et qui sont utilisés pour informer les décisions. Le défi est bien sûr que l'impact réel prend du temps, les interventions peuvent fournir des éléments de base sur lesquels l'impact sera réalisé à une date ultérieure. Nous ne pouvons pas modéliser les chocs qui ont tendance à affecter les indicateurs à long terme. Comme vous l'avez correctement identifié, les méthodes et les données permettant de mesurer cela de manière crédible sont coûteuses. De nombreux partenaires ne sont manifestement pas disposés à en assumer le coût. La solution de repli consiste en des évaluations moins crédibles qui sont principalement entreprises dans le cadre d'un modèle "Business as Usual" (maintien du statu quo) afin de marquer les processus.

Le partage des données et des connaissances est un élément clé qui fonctionne, en particulier si l'on suit des personnes pendant une longue période. Notre institution partage des données dans le but d'améliorer l'apprentissage au fil du temps, d'autant plus que des indicateurs clés tels que l'acquisition de connaissances et le changement de comportement ne peuvent être observés à court terme.

Je suis tout à fait d'accord avec l'évaluation de Daniels concernant le processus de suivi et d'évaluation. Il est trop souvent utilisé comme outil de propagande pour promouvoir des programmes qui, selon la plupart des normes, sont presque un échec total. Cela peut faire des merveilles pour obtenir des extensions de projets et des projets futurs, mais ne fait rien pour les bénéficiaires. Il faut reconnaître que si le S&E peut documenter le processus d'un projet, les deux contributions les plus importantes sont les suivantes

1. Fournir des orientations pour les projets futurs afin de mieux servir les bénéficiaires, et

2. Être la seule véritable voix des bénéficiaires, car la plupart des projets étaient plus imposés que collaboratifs, ne laissant aux bénéficiaires la possibilité de s'exprimer que dans la mesure où ils participaient ou évitaient les projets. Le processus de S&E doit permettre d'identifier pleinement cet aspect.

Il convient notamment d'examiner dans quelle mesure le S&E fait état de résultats globaux ou de pourcentages de résultats. Les résultats globaux seraient davantage une indication de l'agenda de la propagande, tandis que les résultats en pourcentage seraient davantage une analyse d'orientation qui pourrait conduire à l'amélioration des programmes.

Il y a quelques semaines, mon université a sponsorisé un symposium international auquel j'ai contribué par une présentation intitulée "Reflections sur 50+ années d'assistance aux communautés de petits exploitants agricoles". J'ai également préparé un compte rendu complet de la présentation qui sera bientôt publié sur mon site web : https://smallholderagriculture.agsci.colostate.edu .

La présentation contient une discussion importante sur le suivi et l'évaluation que j'extrais ci-dessous (en anglais). J'espère que vous le trouverez utile et je vous invite à me faire part de vos commentaires ou à me fournir des données plus précises si vous le jugez nécessaire.

Lien vers l'extrait (anglais) 

Bien sûr, il est clair que l'Afrique et le monde entier manquent de capacités en matière de suivi et d'évaluation, et pas seulement pour les projets ou les programmes agricoles. Mais c'est en partie parce que beaucoup d'entre nous ne veulent pas apprendre par eux-mêmes en utilisant les vastes programmes sur Internet. Tout comme pour le suivi, il existe une abondante littérature sur l'évaluation. Par exemple, beaucoup d'entre nous devraient s'intéresser aux écrits de Michael Quin Patton - le fondateur de l'évaluation axée sur l'utilisation, vous serez étonnés, mais aussi à ses débats sur les systèmes par rapport aux cadres dans la mesure de la performance. Enfin, lisez la littérature de l'OCDE/CAD et adaptez-la à votre domaine d'intervention.

Cependant, pour moi, il est important de contextualiser le débat pour provoquer le besoin de documenter l'apprentissage à partir des projets agricoles afin de combler le manque de connaissances et d'être en mesure de reproduire le processus à travers le monde.

Merci beaucoup.

Francis

Cher Daniel et autres membres d'Evalforward,

L'évaluation a été principalement développée et utilisée de manière mécanique et a surtout servi à cocher des cases (redevabilité des donateurs) plutôt qu'à apprendre et à s'améliorer. Aujourd'hui, nous savons que les indicateurs et le "cadre logique" sont plus ou moins redondants dans les situations complexes dans lesquelles la plupart des projets agricoles sont menés.

Permettez-moi de vous faire part de mon expérience récente. Je fais partie d'une équipe chargée d'évaluer la contribution de l'aide budgétaire avec une petite assistance technique (intervention de 3 ans) d'un donateur au gouvernement pour mettre en œuvre une stratégie nationale de développement de l'agriculture dans l'un des pays d'Asie du Sud. En tant qu'évaluateur, j'ai relevé les points suivants au cours du processus d'évaluation :

a) L'"aide budgétaire" est fournie au trésor public et n'est pas affectée au secteur agricole. Dans ce cas, il y a une forte possibilité de fongibilité. Nous ne savons pas si le secteur a reçu le fonds et s'il a la possibilité d'effectuer des travaux supplémentaires. Et comment évaluer la contribution.

b) Le contrat de financement contenait des objectifs ambitieux et non pertinents : Le programme comporte six objectifs assortis d'échéances annuelles à respecter pour obtenir le financement. Ces objectifs sont non seulement ambitieux pour les trois années d'intervention, mais ils sortent également du champ d'action du ministère de l'agriculture. Par exemple, la diminution du pourcentage de retard de croissance et l'augmentation du pourcentage de propriété foncière des femmes au niveau national. Il ne s'agit pas d'une intervention directe du ministère de l'agriculture et de nombreux autres acteurs contribuent de manière responsable à la réalisation de ces objectifs sur une longue période. Les mécanismes de coordination et de collaboration entre les ministères et les agences gouvernementales sont également inadéquats pour obtenir des informations/progrès. En outre, il n'existe aucun système de gestion et d'évaluation permettant de collecter des données au niveau infranational.

c) La structure de gouvernance est également passée d'une structure unitaire à une structure fédérale. Les trois niveaux de gouvernement fonctionnent chacun de leur côté, sans coordination ni mécanismes de rapport adéquats. Les institutions et les politiques sont en cours de développement alors qu'il existe un grave déficit de capacités. Dans ce cas, il a été difficile pour le ministère de collecter des données et de compiler des rapports.

Dans ce contexte, le cadre logique n'a pas encore été révisé et les évaluateurs sont invités à évaluer la contribution du Fonds sur ces indicateurs/objectifs. Les agences de mise en œuvre et les donateurs tentent toujours d'attribuer l'impact du fonds, ce qui revient à "extraire l'eau d'une pierre". Peut-être qu'un effort est encore nécessaire pour rendre l'approche M&E plus contextuelle et plus utile.  
Je suis d'accord : "c'est reparti" et "nous répétons", malheureusement.  

Ram Chandra Khanal, PhD
Évaluateur indépendant, Katmandou, Népal

Merci pour ce partage Daniel, je suis d'accord avec une grande partie de ce que vous avez partagé, je pense que votre apport est très important. J'ai été impliqué dans le S&E pendant des années dans des projets de développement - dans des zones urbaines -, et je suis d'accord qu'au lieu de rapprocher les différentes étapes du cycle de projet, dans une tentative de séparation et de spécialisation - je ne comprends pas très bien pourquoi -, des spécialisations telles que "l'apprentissage" (qui fait partie du suivi) et la responsabilité (qui fait partie du suivi et principalement de l'évaluation) ont été créées, des spécialisations telles que "l'apprentissage" (qui fait partie du suivi) et la responsabilité (qui fait partie du suivi et principalement de l'évaluation) ont été "ajoutées", cette dernière parce que si nous parlons de développement, d'amélioration de la production et des conditions de vie, il est nécessaire de "rendre" au groupe cible tout ce qui a été fait.

Je voudrais ajouter que - à mon avis - il y a une étape qui peut être négligée : l'équipe intervenante doit savoir ce qui va être fait, comment cela va être mesuré et quand cela va être mesuré, non seulement en tant qu'actions et activités qui peuvent être vues isolément, mais aussi en tant que contribution à la chaîne de valeur. C'est là que le suivi commence, c'est là que l'apprentissage a lieu (du côté des responsables de la mise en œuvre), c'est là que l'on apprend à rendre des comptes. 

Nous avons trop théorisé dans le cadre d'un effort d'amélioration continue, mais je pense que cela ne sert à rien. Je conviens qu'il est plus important de connaître la perception du groupe cible, car nous pouvons alors savoir si nous avons contribué à la durabilité du projet (je sais que cela est mesuré après l'intervention), mais les études qualitatives nous renseignent sur la réception, l'acceptation et l'appropriation du projet à la fin du projet, ces informations nous indiquent ce que nous devrions faire ..

Cela entre parfois en conflit avec les donateurs, qui financent pour certaines périodes de temps qui ne permettent pas toujours l'appropriation culturelle de l'intervention (c'est une autre question).

Contribution intéressante Grace : Suivi & Apprendissage -S&A dans le cadre de la mise en œuvre, et Evaluation & Recherche - E&R (pas sûr pourquoi R ...) plus tard dans le temps par des équipes différentes. C'est logique.

D'après mon expérience (et je viens du secteur public, national et international), on part déjà du principe que dans tout projet, il faut poursuivre ce que vous appelez le travail de S&A, mais il est difficile d'inclure de manière significative l'E&R de manière à apporter une réelle contribution (i) aux parties prenantes du projet, (ii) à l'organisation chargée de la mise en œuvre, et (iii) à l'organisation chargée du financement. J'ai trouvé qu'il y avait une grande opportunité d'amélioration sur ce point (S&E : timing, contribution à qui).

Meilleurs salutations

Vicente

De mon point de vue, "cela" (S&E, MEAL, MEL, MRM, MERL) continue à ne pas donner les résultats escomptés en termes d'apprentissage et de contribution aux améliorations, parce qu'il ne s'agit pas vraiment d'une pratique professionnelle identifiable et qu'elle est conceptuellement confuse, ce qui la rend confuse dans la pratique. Lorsque j'ai entendu parler pour la première fois du S&E (je venais du secteur privé), je me souviens m'être demandé si cela existait. En effet, on aurait dit que dans le secteur privé, nous avions créé une activité appelée Comptabilité et Audit (CA) et que nous l'avions traitée comme s'il s'agissait d'une activité professionnelle unique. Aussi enthousiastes que nous puissions être, il s'agit de deux choses distinctes mais complémentaires qui sont faites à des moments différents, à des fins différentes et par des personnes différentes. Cette même logique s'applique au suivi et à l'évaluation. Savoir si nous mettons en œuvre les activités comme prévu, connaître l'impact de cette mise en œuvre sur la population cible et (surtout) ajuster ou écarter celles qui ne sont pas efficaces, tel est l'objectif du suivi, une activité quotidienne et (surtout) une partie intégrante de la mise en œuvre d'un projet. D'autre part, l'objectif de l'évaluation est de savoir quels changements se sont produits (et si possible dans quelle mesure ils résultent du projet). Le M et le E sont des choses différentes, qui se produisent à des moments différents et par des personnes différentes. Lorsque nous les mettons dans le même sac et que nous espérons que le suivi et l'évaluation nous diront "quel est l'impact/la différence que nous faisons", nous commençons à nous heurter au problème de la priorité accordée aux mesures des conséquences (ou à la recherche d'attribution pour ceux qui le souhaitent - ce qui entre dans le domaine de la recherche) au détriment de la recherche et de la fourniture d'informations utiles à la prise de décisions sur ce qui importe le plus, c'est-à-dire la mise en œuvre des projets au mieux des capacités des personnes impliquées, l'écoute des populations pour savoir comment/si le projet fonctionne pour elles et l'ajustement en conséquence. 

Cela dit, il y a des éléments d'évaluation (avec un petit "e", comme nous disons là où je travaille) qui se produisent au cours du suivi quotidien. Ce petit "e" d'évaluation est une réflexion et un apprentissage à partir des informations de suivi. Ainsi, dans un autre univers où nous sommes tous prêts à nous débarrasser de "tout" et à tout recommencer, nous pourrions avoir le suivi et l'apprentissage (M&L) dans le cadre de la mise en œuvre quotidienne des projets, puis l'évaluation et la recherche (E&R) qui sont commandées à des moments différents, par des personnes différentes.