RE: A lack of learning in the monitoring and evaluation of agriculture projects | Eval Forward

Chers tous,

Merci infiniment pour toutes vos réponses variées et précieuses. Je les ai prises en compte pour formuler quelques remarques conclusives, en espérant que vous les jugerez utiles.

Pour rendre le suivi efficace, il convient d'éviter de le laisser aux mains de personnes expertes en théorisation, adeptes d'un langage excessivement compliqué et rompues à l'éventail des méthodologies mais qui ne sont peut-être pas les juges naturels de la performance. Il est compréhensible que cela décourage de nombreux membres et responsables d'équipe.

Comme certains d'entre vous l'ont évoqué, les activités de suivi et évaluation produisent souvent une quantité de chiffres et de comparaisons qui offrent peu de visibilité sur la performance. Ils servent plutôt à justifier l'investissement et peuvent même esquisser une image déformée de la réalité. Les gestionnaires doivent s'approprier le suivi – trouver des mesures, tant qualitatives que quantitatives, qui passent outre le budget actuel et les résultats précédents et apportent des réponses aux questions permettant de déterminer dans quelle mesure le programme ou le projet peut attirer et retenir au mieux les destinataires et les bénéficiaires à l'avenir.

Voici cinq points à retenir de la discussion, présentés sous forme de conseils:

  1. Évitez les écueils élémentaires dans la conception
  1. Les changements prennent du temps. Soyez réaliste quand vous définissez les réalisations (quels changements dans les comportements et les relations entre les groupes de destinataires auront lieu) et l'impact (quelles conséquences à long terme ces changements stimuleront-ils géographiquement en dehors de la zone du programme et/ou dans les vies et les moyens d'existence des destinataires).
  2. Pour les programmes relatifs aux systèmes de marché: i) les systèmes agricoles sont eux aussi des systèmes et doivent faire l'objet d'un diagnostic approprié; ii) ne faites pas référence prématurément, lors de la phase pilote, à un changement au niveau du système dans la hiérarchie des différents résultats et abordez l'impact concernant uniquement le changement au niveau de l'agriculteur; iii) la phase d'entraînement concerne, par définition, l'impact au sens géographique ou spatial; il est rarement possible de l'observer et encore moins de le «mesurer» dans le cadre des calendriers de projet prédéfinis. Voici une version «édulcorée» de la manière dont le M4P (faire fonctionner les marchés pour les pauvres) a tiré des leçons de sa propre expérience:

https://assets.publishing.service.gov.uk/media/5f4647bb8fa8f517da50f54a/Agriculture_Learning_Review_for_publication_Aug_2020.pdf

  1. Veiller à ce que les réalisations et ses indicateurs reflètent les besoins et les aspirations de ceux qui sont dans le besoin et non pas ceux des donateurs – par exemple, ne considérez pas que tous les agriculteurs aspirent à augmenter les performances de la terre (gains de productivité/rendement par exemple). Souvent le facteur limitant est la main d'œuvre et non la terre.

 

  1. Distinguez les compétences nécessaires pour le suivi de celles nécessaires pour l'évaluation
  2. Expliquez clairement en quoi le suivi vise à aider les responsables à lever leurs incertitudes, souvent au niveau des hypothèses, pour leur prise de décisions, en répondant à des questions. Ce faisant, distinguez clairement ces dernières des questions auxquelles les évaluateurs – souvent issus du monde de la recherche – sont habitués à répondre, généralement à la demande du donateur.
  3. Recourez à l'analogie utile avec la comptabilité (suivi) et l'audit (évaluation) pour faciliter la distinction – ces activités interviennent pour différentes raisons, à différents moments, par et pour différentes personnes. Vous pouvez être l'évaluateur le «meilleur de la classe», qui développe des méthodes, intervient lors de conférences, publie, enseigne, participe à des formations de suivi et évaluation. Ces compétences et expériences font-elles de vous le «meilleur de la classe» pour le suivi? Non, pas nécessairement et même rarement. Toutefois il est surprenant de voir l'influence et l'emprise qu'ont l'évaluation et les évaluateurs sur la pratique du suivi – de l'évaluation évolutive?

 

  1. Discutez des besoins d'informations avec les donateurs.  
  1. Définissez sans ambiguïté les informations nécessaires pour gérer la mise en œuvre en les conciliant avec la nécessité de rendre des comptes au destinataire tout comme, voire plus encore, au bailleur, et faites-le avant de développer une théorie du changement et/ou un cadre de résultats.
  2. Ciblez ces besoins en informations sur les perceptions des agriculteurs destinataires et leur accueil, acceptation ou rejet du projet – être redevable envers eux, plutôt qu'envers les bailleurs en prenant connaissance de leurs problèmes administratifs, contribuera à l'apprentissage;
  3. Ne limitez pas les besoins en informations des gestionnaires et des destinataires aux indicateurs dans un cadre logique et ne développez pas aveuglément un plan de "mesure" ou de suivi et évaluation. Cette voie mène à une détérioration qualitative du suivi. Pour le suivi, les hypothèses ou l'inconnu comptent souvent plus que les indicateurs, quand on travaille dans des environnements opérationnels imprévisibles. Enfin: «Il ne s'agit pas de battre les chiffres de l'année dernière; un système de mesure de la performance doit vous indiquer si les décisions que vous prenez maintenant vous aideront, vous et ceux que vous soutenez, dans les prochains mois»[1].

 

  1. Intégrez le processus de suivi dans ceux d'autres personnes et processus.
  1. Intégrez dans les descriptions de poste des fournisseurs de l'aide des questions qu'ils peuvent utiliser pour développer leurs relations avec les destinataires et mieux les connaître – voir le point 3a) ci-dessus.
  2. Utilisez le Activity Based Costing (coût par activité) afin d'encourager les experts financiers à travailler avec ceux qui sont chargés de fournir les réalisations – cela permet de calculer le coût des activités et de relier ainsi le suivi financier et le suivi non-financier (cela vous permettra de répondre aux questions sur le rapport qualité-prix, si nécessaire).
  3. Une bonne prise de décision en matière de gestion consiste à faire des choix; les informations de suivi doivent les éclairer. Une décision visant à interrompre une activité ou à la mener différemment doit être analysée avec autant d'attention qu'une décision consistant à la faire de manière entièrement nouvelle.
 
  1. Soyez curieux tout en restant simple
    1. Ignorez les déclarations de dogmes ou règles méthodologiques rigides. Comme certains d'entre vous l'ont mentionné, il existe de nombreux documents très utiles en la matière, anciens ou récents. Prenez le risque de penser par vous-même...
    2. Restez simple et évitez de rendre les choses plus compliquées en suivant les tendances ou le jargon qui isole le suivi à travers un langage impénétrable.

«Si vous ne pouvez pas l'expliquer simplement, c'est que vous ne le comprenez pas assez bien.»