«Here we go again», c'est reparti - Un manque d'apprentissage dans le suivi et évaluation des projets agricoles

Il n'y a rien de mal à projeter des résultats numériques dans un diagramme ou une matrice. Toutefois, les activités de suivi devraient les traiter comme des projections et non comme des «vérités». La plupart des résultats défient les prévisions. Les projets agricoles ont lieu dans des environnements très incertains. Le contexte est important. Le grand penseur en matière de gestion du siècle dernier, W. Edwards Deming, déclarait que «la gestion par objectif numérique est une tentative de gérer sans savoir ce qu'il faut faire et est souvent en réalité une gestion par la peur»[i]. Il observait également que les éléments les plus importants à connaître sont souvent les inconnues. Comme il ajoutait dans The New Economics, «il est faux de penser que si vous ne pouvez pas le mesurer, vous ne pouvez pas le gérer – c'est un mythe qui coûte cher»[ii]. Ce à quoi Deming fait référence est ce que la communauté du suivi et évaluation appelle les «hypothèses». Pour les finalités du suivi et évaluation, les hypothèses comptent tout autant, si ce n'est plus, que les résultats en eux-mêmes. Il est donc regrettable que l'obsession de la communauté pour les indicateurs, qualitatifs ou quantitatifs, accorde généralement peu d'importance aux hypothèses.

Le constat de Deming rejoint mon expérience en tant que dirigeant d'un département de suivi et évaluation au sein de la division du développement agricole de N'gabu, dans la basse vallée du Shire au Malawi pendant trois ans, à la fin des années 1980. La principale fonction du département était de collecter des séries de données annuelles sur la production agricole, les principaux produits étant les estimations en termes de production et de productivité agricoles, ventilées par culture, circonscription, sexe du chef de ménage et pratique agricole. Les données étaient largement utilisées pour évaluer la performance agricole dans les deux circonscriptions de la vallée, Chikwasa et Nsanje.

J'ai remarqué, après avoir présenté la première série de résultats de l'enquête, que les cadres dirigeants utilisaient très peu ces données. Très peu de cadres dirigeants venaient dans mon bureau; la plupart de ceux qui y venaient effectuaient une mission pour le donateur, travaillaient pour des organisations non gouvernementales ou étaient des chercheurs ou des fonctionnaires du Ministère de l'agriculture ou du Bureau central des statistiques. Les enquêteurs sur le terrain avaient un contact limité avec leurs pairs des services de vulgarisation. Je souhaitais comprendre pourquoi mes collègues montraient si peu d'intérêt. Après tout, la mesure de tous ces indicateurs avait demandé beaucoup de temps et était ardue en termes de méthodologie. J'ai rencontré le Directeur des services de vulgarisation agricole pour en examiner les raisons. Il m'a répondu que les résultats des enquêtes étaient intéressants mais qu'ils contribuaient peu à éclairer les actions de son département ou d'autres départements (par exemple en ce qui concerne la recherche, les cultures et le programme pour les femmes).

Lorsque nous avons discuté des questions auxquelles mon équipe pouvait l'aider à répondre, il m'a donné quatre exemples:

1. Quelles sont les impressions des agriculteurs sur la performance des agents des services de vulgarisation?
2. Combien d'agriculteurs adoptent leurs messages et comment cela varie-t-il selon le message, la culture et le sexe du chef de ménage?
3. Pourquoi certains agriculteurs adoptent-ils le message x? Sur combien de leurs parcelles ont-il adopté le message et pendant combien de saisons?
4. Pourquoi les autres n'ont-ils pas adopté le même message et quels sont les effets multiplicateurs de ce rejet parmi les agriculteurs voisins?

J'ai discuté de cela avec mon chef – un statisticien de la Banque mondiale. Il m'a conseillé de préparer une enquête révisée axée sur l'interaction entre les agents des services de vulgarisation et leurs clients agriculteurs, en veillant à ce que l'enquête traite les agriculteurs comme les sujets des conversations sur les questions qui les intéressent et non comme les objets d'une enquête qui intéresserait l'enquêteur. Il m'a également rappelé l'impossibilité mathématique reconnue d'établir statistiquement des tendances significatives dans les rendements agricoles des systèmes d'agriculture pluviale sur la période d'un programme de cinq ans, et a fortiori de les attribuer à une intervention. Il est possible de les mesurer, me dit-il, mais «l'ignorance de celui qui agit ainsi n'est dépassée que par celle de ceux qui croient au résultat.»

Ce fut une leçon salutaire pour un jeune professionnel en suivi et évaluation. Pour que mon équipe et moi-même puissions collaborer avec nos collègues, nous devions leur fournir des éléments concrets qui leur étaient utiles, des informations qui examinaient les réponses des agriculteurs au soutien des services de vulgarisation et la manière dont elles variaient. Comprendre cela nous a fourni une base permettant de remédier au rejet par les agriculteurs et de répliquer les réussites de ceux qui avaient adopté et retenu les conseils qu'ils avaient reçus.

 … puis y revenir

Revenons à aujourd'hui. De nombreux programmes de développement de systèmes de marché dans le secteur agricole sont conçus pour augmenter les revenus agricoles de ceux qui sont mal desservis ou exclus des systèmes de marché dont les agriculteurs et leurs familles dépendent. Ces programmes visent à faciliter ou déclencher un changement dans les comportements et les relations entre les «participants au système» ou les «acteurs» ‒ ceux auprès desquels les agriculteurs achètent (dans les marchés d'intrants) et vendent (dans les marchés de produits); ceux qui établissent et font appliquer les règles, qu'il s'agisse des gouvernements locaux et/ou nationaux ou des règles et valeurs autochtones; et ceux qui offrent des services de soutien, tels que les informations, les compétences, la technologie et l'argent.

En d'autres mots, les programmes de développement de systèmes de marché n'offrent pas de services directement à l'agriculteur, mais visent à stimuler le changement dans des fonctions spécifiques du système de marché qui déçoivent les agriculteurs. Toutefois, quasiment la totalité des cadres de résultats ou des théories du changement que j'ai observés pour de tels programmes mettent l'accent sur la production ou la productivité et non sur le changement systémique, au niveau des réalisations.

Cela a souvent des conséquences néfastes pour le suivi et évaluation. La logique systémique des programmes de développement des systèmes de marché est fréquemment compromise par l'accent mis davantage sur la mesure de la conséquence supposée du changement de système de marché au niveau de l'exploitation et de l'agriculteur, plutôt que sur le changement du système de marché lui-même. Les coûts d'opportunité ne sont pas négligeables; apporter des preuves qui testent effectivement, plutôt qu'elles ne l'ignorent, la principale hypothèse – selon laquelle les acteurs du système sont sensibles et en phase avec les nécessités du nombre croissant d'agriculteurs démunis. Des preuves qui montrent, ou pas, si les marchés fonctionnent pour les plus démunis.

Alors, pourquoi les systèmes de suivi et évaluation, qui sont censés être conçus pour générer des leçons tirées de l'expérience, ont-ils été si lents ou réticents à tirer eux-mêmes des leçons? Qu'en pensez-vous? Je serais heureux de connaître votre expérience.