Comment faire progresser l'évaluation dans le secteur agricole ?

Dear EvalForward Members,

I am pleased to share the summary of discussions on our previous topic: How do we move forward on Evaluation Systems in the Agriculture Sector?

Please find it attached for your information and reference. Apologies for the delay to share this. 

Once again thank you all for the very insightful contributions, we hope to build on these thoughts in support our efforts to build a strong National M&E System.

Very Best,

Judith K Katabarwa,

Vice President,

Rwanda M&E Organization

Chers membres d'EvalForward,

Nous avons terminé notre discussion sur le thème "comment faire progresser le système d'évaluation dans le secteur agricole".

J'aimerais profiter de cette occasion pour remercier chacun d'entre vous pour les contributions très utiles sur ce sujet. Chaque contribution est venue avec des points de vue très uniques et pourtant très perspicaces. 

Nous travaillons actuellement à la synthèse de toutes les contributions partagées et devrions être en mesure de partager bientôt les idées consolidées. Je suis convaincue qu'elles seront utiles à nos différents systèmes nationaux de S&E, en particulier dans le secteur agricole.

Meilleures salutations,

Judith

Bonjour!

L'intégration de l'évaluation dans les politiques nationales se heurte à plusieurs défis. Il n'est pas très facile de distinguer clairement les différences d'évaluation aux niveaux national, régional et local, c'est-à-dire sur le terrain. C'est très important, car ce qu'implique l'évaluation à ces niveaux est très différent. La pièce jointe incluse ici (en anglais) pourrait s'avérer utile pour naviguer à travers ces difficultés.

Merci! 

Lal Manavado

Bonjour

Je suis Raoudha de la Tunisie, je vous remercie tous pour ces partages si importants et constructives, dans ce même ordre d'idées, je pense que la question de suivi et évaluation devrait tenir compte aussi bien de l'aspect quantitatif que qualitatif. Certes , l'aspect quantitatif n'a de sens que s'il va de pair avec le volet qualitatif, et ce processus peut aboutir à des résultats qui sont en mesures d'identifier les leçons apprises de l'exercice de l'évaluation car je pense que l'évaluation n'est pas vraiment un objectif en soi mais plutôt un moyen d'apprentissage afin de rectifier, ajuster, réviser et améliorer. En évaluant nous sommes sensé apprendre.

Chère Judith,

Sujet très intéressant et je trouve toutes les réponses intéressantes aussi pour aider au niveau national à établir un système d'évaluation pour tous les pays. Mes conseils sont très limités car je n'ai pas d'informations sur le système de suivi en cours et la vision ou les objectifs fondamentaux spécifiques à l'horizon 2030, car le système d'évaluation s'inspirera de ces deux documents de référence.

Je trouve que la phase la plus difficile consiste à établir un système de suivi avec des objectifs annuels validés. Un SMER (rapport d'évaluation à six mois) pourrait être adopté. Le premier SMER servirait à analyser l'évolution des objectifs et des cibles et, si nécessaire, à réorienter le programme, et le second dans la même ligne avec une partie de consolidation pour l'évaluation annuelle. 

Toutefois, l'approche SMER pourrait avoir des risques parce que l’évaluation fait focus aux résultats et il y’a un temps nécessaire d’évidence de résultats pour certains indicateurs Il serait plus pertinent pour l'évaluation d'avoir un format de vision à cinq ans.
Ainsi, si vous décidez de conserver la période annuelle pour le suivi et l'évaluation, je vous conseille d'adopter cette approche du SMER avec un modèle basé sur des objectifs et des cibles spécifiques qui peuvent aider à définir les questions quantitatives et qualitatives de l'évaluation. 

Je recommande également d'utiliser la collecte digitale au niveau nationale et de valider les résultats de l’évaluation par une approche participative.

La remarque de Miriam indique clairement par où nous devons commencer le changement. Lorsque le système de suivi et d'évaluation se concentre sur le contrôle des dépenses, l'apprentissage est perdu et les gens ont tendance à se concentrer sur les performances basées sur les chiffres. Il est nécessaire de déterminer les questions d'apprentissage au stade conceptuel du projet/programme. Dans certains cas, on constate que ce que les gens considèrent comme la gestion des connaissances est le nombre de produits de connaissance qui seront développés et qui n'est pas assez complet pour intégrer le programme d'apprentissage.

Josephine

Discussion intéressante sur le S&E et l'apprentissage. Madagascar est un pays qui dispose d'un système intégré de suivi et d'évaluation lié au système national de suivi et d'évaluation. Le FIDA a mis en place un système appelé SEG qui vise à relier le S&E et la gestion des connaissances, veuillez voir: 

https://www.slideshare.net/benoitthierry948/madagascarsegsifad-rome-2007

L'un des défis que j'ai vu est que le S&E est normalement un exercice contrôle des dépenses pour la plupart des projets. Aucun apprentissage n'est intégré dans le processus. Lorsque j'ai géré une subvention pour la gestion des connaissances et l'apprentissage, nous avons essayé de changer l'état d'esprit des projets en passant du S&E à un S&E axé sur l'apprentissage. La plupart des projets ne commencent pas par des questions d'apprentissage guidant la mise en œuvre et sont donc toujours en train de tâtonner. Par conséquent, ils ne sont pas en mesure d'afficher des résultats. L'idée était d'intégrer des aspects qualitatifs dans le processus quantitatif.  

J'aime beaucoup la contribution sur le tableau de bord de la voiture ci-dessous - je vais l'emprunter pour l'utiliser quelque part.....et merci pour le partage.

--

Miriam Cherogony

Independent Consultant

Development Finance, Financial Inclusion, and Knowledge Management Expert

Je partagerai une analyse plus longue dans quelques jours. Je suis un peu occupée avec le travail.

Cependant, il faut être très clair sur une chose : cette pandémie a posé des défis au processus d'évaluation.

Si je puis me permettre, le concept d'évaluation est dans un moment très profond. Il faut être innovant, sortir des sentiers battus. L'évaluation n'est pas en crise, mais les évaluateurs le sont.

Isha 

Chère Renata,

Je vous remercie pour vos idées très utiles sur le sujet de discussion en cours. L'étude sur les capacités d'évaluation des ministères de l'agriculture est également une bonne référence.

Oui, le Rwanda se débrouille bien en matière de suivi et de compte rendu des performances, un système d'évaluation s'appuierait donc sur les efforts existants.

J'aime les points d'entrée proposés pour le processus de développement d'un système d'évaluation fonctionnel. La société rwandaise de S&E s'appuiera sur cette approche en collaboration avec d'autres acteurs majeurs du secteur.

Meilleures salutations,

Judith

Mes chers,

Je vous remercie pour cette question importante. Je pense que le secteur public est loin de l'évaluation. Le système de S&E est quelque chose de bon à avoir s'il s'agit d'un système complet dans sa définition large, et pas seulement d'un protocole écrit et d'une procédure de "comment" et de "devoir", ce qui est le cas dans notre région (dans les ministères). Selon notre expérience, il est impossible d'obtenir des données à partir des systèmes existants. Ce qu'il faut, c'est une culture de l'évaluation et un lobbying en faveur de l'évaluation. Les Associations Nationales d'Évaluation devraient avoir un rôle dans ce domaine, mais sans soutien, leur impact sera limité, d'autant plus que la plupart des Associations Nationales d'Évaluation de la région sont trop jeunes et travaillent sur une base volontaire. Les Associations Nationales d'Évaluation peuvent agir comme mobilisateur ou facilitateur pour rassembler les parties prenantes afin de renforcer la culture d'évaluation par des actions sur le terrain. Pour donner un exemple d'actions : sélectionner des indicateurs nationaux communs ou même des SDG liés à l'agriculture et essayer de systématiser le processus de collecte de données à ce sujet au niveau national. Les Associations Nationales d'Évaluation de différents pays peuvent travailler ensemble et même former un consortium.

J'espère que mon idée est assez claire

Merci

Naser Qadous

Palestine

Chers tous,

Il est vrai que le Rwanda a fait beaucoup si l'on considère les efforts déployés pour gérer la responsabilité dans tous les secteurs d'activité. En se référant à l'illustration du tableau de bord de la voiture, l'efficacité du système d'évaluation doit être envisagée dans la perspective holistique du système de S&E. En fait, le suivi ou l'évaluation visent la même chose : assurer la réalisation effective et efficace des buts/objectifs/mission.

L'évaluation peut compléter, confirmer ou contredire les résultats du suivi. Plus systématique et rigoureuse, l'évaluation peut fournir des explications plus crédibles et plus claires [aux yeux des parties prenantes] que le suivi lui-même ne peut fournir pour différentes raisons.  Par conséquent, si le système d'évaluation échoue en tant que composante du système de suivi et d'évaluation, c'est que le système tout entier a déjà échoué.

Un système de S&E bien conçu (efficace) devrait :

• - Chercher à intégrer, aligner, hiérarchiser, contextualiser, et à doter de ressources les activités et processus de suivi, d'évaluation et d'apprentissage
• - Soutenir le processus de conception et la mise en œuvre du programme
• - S'adapter au besoin pour rester pertinent, et
• - Contribuer à la responsabilisation, à l'apprentissage, à l'adaptation et à la réalisation de l'objectif du programme.

En l'absence d'un système national de suivi et d'évaluation, le pays fait un mauvais usage des ressources financières et manque des possibilités d'apprentissage. S'il existait un système d'évaluation national, cela limiterait le nombre d'évaluations à celles qui en valent vraiment la peine. Cela permettrait également de mettre en place une stratégie nationale pour tirer des enseignements des rapports d'évaluation afin d'éclairer la conception et les politiques futures des programmes.

De plus, mon travail de recherche a permis de réaliser jusqu'à quatre défis auxquels les systèmes de S&E actuels sont confrontés, suite au fait qu'ils n'ont pas encore tiré profit des données massives à temps : le monde s'est lancé dans une ère numérique caractérisée par la disponibilité d'informations qui croît à un rythme exponentiel : les mesures de performance imprécises, l'incapacité à faire des prévisions fiables pour informer la planification future et la conception de nouveaux programmes, le retard dans la mise en œuvre des mesures correctives recommandées par les entreprises d'évaluation, et l'incapacité de certains utilisateurs à comprendre et à utiliser les rapports de suivi et d'évaluation. [Cela peut sembler étrange à plusieurs personnes, mais je peux vous donner plus d'informations à ce sujet si nécessaire].  À cet égard, je voudrais également souligner que le Rwanda a développé et adopté une politique nationale de révolution des données en 2017 qui prévoit que les grandes analyses de données devraient être utilisées pour suivre les progrès du développement et les activités de recherche perspicace, etc. Le point essentiel à retenir est que pour renforcer les fonctions de suivi et d'évaluation, il est nécessaire que le pays s'engage à mettre en place des systèmes qui fonctionnent bien et à renforcer les capacités, faute de quoi les questions de responsabilité et d'appropriation nationales persisteront.

Enfin, il faut profiter de l'engagement et de la volonté du gouvernement rwandais et de la société de S&E pour vérifier à nouveau l'exhaustivité des directives nationales de Suivi-Evaluation-Apprentissage (MEL par son acronyme en anglais)  [élaborées l'année dernière et pour lesquelles nous avons fourni des contributions] et les faire appliquer. Ensuite, nous aurons terminé.

Meilleurs salutations,

Janvier

Chère Judith et tous,

Le thème de comment faire avancer l'évaluation dans l'agriculture est l’une des idées qui ont amené au lancement de cette Communauté!

En 2019, la FAO et EvalForward ont étudié les capacités d'évaluation dans les ministères de l'agriculture, et nous avons interviewé des responsables de S&E en 23 pays. L'étude a révélé une situation très disparate selon les pays, dont certains ont des capacités encore très limitées en matière d'évaluation, de S&E ou même de gestion axée sur les résultats (rapport principal en anglais et note d'information). Le Rwanda ne faisait pas partie de notre échantillon, mais il semble disposer de systèmes de S&E et de mesures de performance bien établis (comme l'imigo annuel mentionné par Olivier).

Comme on le sait, un système d'évaluation peut être utile pour apporter la profondeur de l'analyse aux données et au S&E et aider à identifier les points faibles ; une structure institutionnelle fournirait le cadre pour la réalisation d'évaluations stratégiques et soutiendrait la demande de preuves et la volonté et la capacité de les utiliser par les décideurs politiques.

Sur la base de l'expérience des pays qui ont réussi à développer un système d'évaluation, certains points d'entrée pour démarrer le processus peuvent être :    

- Trouver des dirigeants influents qui soutiennent l'évaluation et qui pourraient promouvoir une fonction d’évaluation efficace au niveau national et sectoriel influencer l'évolution vers une fonction d'évaluation efficace au niveau national et sectoriel.

- Mener une évaluation pilote avec la participation d'agents publics afin de prouver la valeur d'un tel exercice, notamment en testant des évaluations rapides qui pourraient donner un retour d'information dans un délai raisonnable sur des questions politiques urgentes.

- Établir des liens avec les pays qui ont mis en place des systèmes d'évaluation et entamer des collaborations avec des initiatives telles que Twende Mbele qui visent à soutenir ces processus. 

- Faire pression pour l’évaluation sur les principales parties prenantes, telles que les organisations de producteurs, les VOPE, les universités et les ONG.

Dans de nombreux pays, les réductions budgétaires dans le secteur de l'agriculture ont entraîné une diminution des investissements dans les ressources humaines et le développement des compétences, ce qui nuit aux fonctions de suivi et d'évaluation et aux tentatives de développement des capacités d'évaluation dans le secteur. Il est bon de voir que ce n'est pas le cas du Rwanda. La centralité de l'agriculture dans l'économie devrait être mise à profit pour faire avancer l'ensemble des outils permettant d'améliorer la production et l'utilisation de données probantes dans le secteur.

Nous attendons les points de vue des autres membres !

Renata

Cher Olivier,

Merci beaucoup pour votre contribution à ce sujet important, les contrats de performance annuels et les évaluations sont une excellente approche de suivi, ils évaluent la réalisation des objectifs annuels au niveau du district et du secteur ainsi qu'au niveau institutionnel, très bon outil de suivi des résultats au niveau des produits. Cependant, comme ils sont réalisés chaque année, ils ne se prêtent pas à un processus d'évaluation détaillé à mi-parcours ou en fin de parcours, qui permet généralement de suivre les résultats et l'impact et d'informer les projets futurs.

Ils pourraient, Imihigo, en effet faire partie du système national de S&E et apporteraient une contribution considérable, mais ne remplaceraient pas le système national d'évaluation dont on a tant besoin.

Cordialement, 

Judit

Cher Jean Providence,

Je vous remercie pour vos commentaires très utiles sur le sujet des systèmes d'évaluation. J'aime beaucoup le scénario utilisé d'un tableau de bord, il explique bien les différents aspects d'un système de suivi, d'évaluation et d'apprentissage. Je reconnais que le suivi est une partie importante du système mais il est limité aux "indicateurs de vanité" comme vous l'appelez, oui la plupart des pays ont tendance à opter pour les fruits les plus faciles à cueillir, mais il est nécessaire d'avoir un système d'évaluation fonctionnel pour compléter notre système national de suivi et d'évaluation et être en mesure de tirer des enseignements de l'ensemble du processus.

J'attends avec impatience d'autres contributions de nos collègues ici présents.

Judith

Bonjour Judith,

Merci de partager ce sujet pour obtenir des réflexions et des points de vue d'autres pays. Vous trouverez ci-dessous ma contribution (étant rwandais mais pratiquant le S&E ailleurs) :

J'utilise généralement un tableau de bord de voiture pour illustrer la nature jumelée du suivi et de l'évaluation. Un système de suivi fonctionnel alimente le système d'évaluation. Un système d'évaluation fonctionnel alimente à son tour les processus de suivi.

En tant que panneau de contrôle pour suivre les progrès et les conditions d'une voiture, un tableau de bord fonctionnel montre les conditions de la voiture. Le conducteur doit continuer à suivre ou à vérifier la progression pour atteindre sa destination. Imaginez que vous conduisiez une voiture sans tableau de bord ! Etrange, risqué, accidentogène, etc.

Le conducteur utilise le même tableau de bord pour évaluer et décider quand il doit voir le mécanicien, s'arrêter à une station-service pour faire le plein ou pour obtenir un supplément de pression des pneus. Parfois, le conducteur (c'est-à-dire le chef de projet) peut prendre lui-même des mesures correctives grâce à son expérience et à sa connaissance du système automobile (c'est-à-dire du projet). Cela équivaut à utiliser les données de suivi ou l'évaluation des processus pour résoudre des problèmes. En utilisant les résultats du suivi, le conducteur (ou le chef de projet) peut tirer une leçon ici et là pour maintenir la voiture (ou le projet) sur la bonne voie.

Mais en fin de compte, il y a des problèmes techniques qui échappent au contrôle du conducteur (ou du gestionnaire de projet/programme). Dans ce cas, le conducteur doit entretenir la voiture ou faire appel à des experts techniques pour obtenir des conseils avisés. Lorsque cela échappe au contrôle du conducteur, on parle de changement (niveau de résultat ou d'impact). À ce niveau, nous avons besoin d'un regard plus neuf afin d'ajouter une nouvelle perspective à la façon dont nous avons vu les conditions de notre voiture. Nous avons besoin d'une évaluation plus sûre, plus objective, plus proche du résultat souhaité.

Le système de contrôle est un fruit à portée de main, c'est pourquoi la plupart des organisations et des pays trouvent qu'il est facile à mettre en place. L'évaluation est techniquement exigeante et c'est le but ultime d'un bon suivi. Nous surveillons pour nous assurer que nous obtenons les résultats du processus (sous notre contrôle). Nous évaluons pour prouver ou réfuter que nous avons atteint les résultats attendus au niveau du changement (hors de notre contrôle). Le suivi se limite à des "indicateurs de vanité" (un terme utilisé par un collègue sur les médias sociaux) tels que le nombre de personnes formées, le nombre de kilos distribués, etc. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas logiquement et objectivement identifié avec des preuves. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas identifié de manière logique et objective à l'aide de preuves. Le véritable changement ne serait pas récompensé par l'extension ou la reproduction de projets réussis, etc. Sans système d'évaluation, nous échouons ou réussissons à notre insu et nous ne pouvons pas en être fiers.

Avoir un système de suivi, c'est comme avoir une capacité institutionnelle ou répondre à des exigences institutionnelles pour que nous puissions rendre compte à xyz. Mais avoir un système d'évaluation, c'est comme avoir la capacité humaine, l'expertise nécessaire pour naviguer dans un paysage de développement complexe afin que ce qui fonctionne soit conservé. Qu'est-ce que cela signifie pour le S&E dans la pratique ? Laissez-moi garder cela pour un autre jour.

J'attends avec impatience d'autres réflexions de la part d'autres pays.

Jean Providence

Merci, Kayitesi pour ce sujet de discussion. Principalement au Rwanda, il existe des plans de district (Imihigo) pour chaque année qui couvrent tous les secteurs, y compris l'agriculture. La performance de chaque district est évaluée à la fin de l'année. J'aimerais donc savoir si cela peut également être considéré comme un système d'évaluation.

Je vous remercie.