Evaluation dans le secteur agricole: que savons-nous des capacités des pays?

Evaluation dans le secteur agricole: que savons-nous des capacités des pays?

Evaluation and, more generally, Results-Based Management (RBM) are amongst the best-known instruments to strengthen accountability and learning, and, ultimately, improve policies and practices. 

L’Evaluation dans le secteur de l’agriculture: que sait-on des capacités des pays?

L’évaluation et plus généralement la Gestion Axée sur les Résultats (GAR) sont des outils nécessaires pour renforcer la redevabilité et l’apprentissage, et in-fine contribuer à améliorer les politiques et pratiques. Comment ceux-ci sont-ils appliqués par les institutions concernées par l'agriculture, et les fonctionnaires travaillant dans ce secteur sont-ils dotés des capacités et des ressources adéquates pour effectuer l'évaluation?

L’état des connaissances sur ce sujet est très diffus. Partant, le Bureau de l’Evaluation de la FAO et EvalForward ont commencé une étude pour renseigner les dynamiques de l’évaluation au sein des Ministères de l’agriculture et leur relation avec les autres institutions qui évaluent ce secteur.

Alors que cette étude est en cours, le Forum International Francophone de l’Evaluation -FIFE 2019 qui s’est tenu à Ouagadougou du 11 au 15 Novembre a fourni une occasion d’échanger sur ces questions.  Lors d'une table ronde qui réunissait aussi des dirigeants des unités de Suivi et Evaluation  (S&E)des ministères de l'Agriculture au Cameroun, au Bénin et au Burkina Faso, ainsi que du projet AVANTI, j'ai partagé les résultats émergents à ce stade de l'étude comme base de discussion. Je souhaitais les presenter brièvement au reste de notre communauté de pratique pour susciter d'autres réflexions ou partages d’expériences de la part des membres.

Une première constatation est que l’évaluation reste encore en grande partie une fonction centralisée, au ministère du plan, à la présidence, etc. Et bien qu’une grande majorité des pays contactés aient des unités de S&E au sein du Ministère de l’Agriculture, leurs rôles effectifs dans la mesure des résultats des politiques ou programmes du secteur est très variable selon les pays, et souvent limité.

Les unités de S&E du Ministère de l’Agriculture sont le plus souvent chargées d’une mission large, couvrant aussi la planification des activités, la mesure d’avancement des activités  ou le suivi des décaissements budgétaires. Ainsi, dans de nombreuses cas, leur mission d’évaluation, étape ultime et coûteuse, n’est pas priorisée et donc jamais mise en œuvre. L’évaluation appelle effectivement à des compétences et investissements spécifiques. Or, les ressources budgétaires dédiées à ces unités sont le plus souvent insuffisantes pour permettre de conduire des évaluations sérieuses, et le personnel limité (avec 12 employés en moyenne) et peu formé.

L’évaluation est plus systématique dans le cadre de projets, parce qu’elle y est imposée pas les donateurs, qui y ajoutent une ligne budgétaire. Elle n’est ainsi quasiment jamais conduite au niveau des politiques et programmes nationaux, étant en compétition financière avec des activités de programmation, le plus souvent priorisée par des décideurs politiques cherchant à faire valoir des accomplissements tangibles à relativement court terme.

L’influence de « interlocuteurs conscients» soutenant l’évaluation au plus haut niveau de gouvernement semble être cruciale pour la mise en place de cette fonction dans les institutions publiques, y compris au travers d’un investissement substantiel. Cela semble être le fil rouge des rares pays où l’évaluation s’est établie avec succès et où l’on pourrait dire qu’elle est institutionnalisée.

Les relations entre Ministère de l’Agriculture et unités centrales en charge de l’évaluation dans les pays relève le plus souvent d’un système formel de reportage plus que d’une collaboration entre évaluateurs. Et le dynamisme des unités centrales est un facteur qui influence fortement leurs capacités à promouvoir la culture évaluative au sein des pays, et notamment dans les Ministères sectoriels.

Ainsi, à ce jour, trois types de situations se dégagent:

  • Les pays avancés où les institutions nationales assurent une fonction d'évaluation dans le secteur agricole;
  • Les pays ou les unités de suivi et d'évaluation des ministères soutiennent le suivi fondé sur les résultats mais ne pratiquent pas l'évaluation;
  • Les pays où les concepts sous-jacents à la GAR ne semblent pas encore avoir pénétré les institutions du secteur.

Les résultats préliminaires de l'étude sont disponibles à ce lien. Ces premiers résultats devront être confirmés par la collecte d'un plus grand nombre de cas, dans le but de finaliser l'étude au début de 2020. Certaines questions restent en suspens:

  • Devrait-il y avoir un engagement minimum nécessaire du Ministère de l’Agriculture, pour assurer la prise en charge des aspects techniques des évaluations ? Ou est-il plutôt nécessaire de renforcer le lien entre évaluateurs professionnels et institutions publiques, tout en renforçant les capacités de ces dernières à planifier et maximiser l’utilité des évaluations ?
  • Quels leviers peuvent influencer l'émergence de « champions » de l'évaluation au sein des institutions publiques, qui puissent aider à garantir des investissements suffisants dans une fonction d'évaluation?

Nous invitons les membres de EvalForward à partager leurs points de vue sur ces questions et sur la question plus générale de l'institutionnalisation de l'évaluation dans le secteur de l'agriculture. 

 

In Kenya, like other developing countries, data within the agriculture sector remains a challenge. This has constrained the RBM model where a lot of focus remains on the processes rather than moving on to outcomes. Many of the ministry's reports give a lot of prominence to the processes and targets achieved for process indicators, and use this to claim success even when independent studies have pointed to little or no progress has been achieved in outputs and outcomes of these processes. At Tegemeo Institute, we have been tracking key indicators and trends within the agriculture sector and have learned some key useful lessons. First, there is need to have a unified data system. A unified system becomes more relevant in devolved systems like Kenya's where the devolved units are semi-autonomous. Second, there is need for continuous capacity development within the systems to ensure that quality data is continuously collected, managed, analysed and shared. Third, leveraging on technology ensures to ensure that credible and quality data is collected and used to inform decisions. 

The Ministry of Agriculture should strengthen the linkages with evaluators within the public and private sectors to improve the quality of evaluations while maintaining the independence of evaluators to make assessment from the evaluation studies and recommend action to be taken to maximise impacts. In addition, identifying change agents who disrupt the BAU position is necessary to be outcome-oriented and use lessons from evaluation to design and implement impactful policies and programs

My biggest concern for all host government activities such as managing evaluations is "is there sufficient financial resources to do an effective job or if not will tasked be highly compromised by officers attempting to complete evaluation based on personal expectations rather than solid fact". The concern is based on most host governments FAO works with are what I refer to as financially suppressed economics where so much of individual wages or labor goes to meet basic subsistence needs that there is not sufficient discretionary funds to form a viable tax based to support government services such as evaluations. This then results in a lot of informal income activities interfering with effective governance. Governments are for all practical purposes financially stalled.  Please review the webpages:

https://smallholderagriculture.agsci.colostate.edu/financially-suppress…

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-…

https://smallholderagriculture.agsci.colostate.edu/impact-of-financiall…

https://smallholderagriculture.agsci.colostate.edu/informal-income-oppo…  

Sur l'institutionnalisation au sein du ministère de l'agriculture, j'estime qu'il faut susciter l'engagement des acteurs de l'agriculture. Faire prendre conscience de la place des évaluations dans l'amélioration de leur performance est un élément fondamental pour leurs activités quotidiennes, leur service et pour leur ministère. Cela pourrait se faire par l'identification des motivations des acteurs en matière d'évaluation ou suscité des motivations en matière d'évaluation par l'information et la sensibilisation sur qu'est-ce que le suivi, l'évaluation, leur lien et l'importance de l'évaluation pour les acteurs eux-mêmes et pour la réussite de leur mission ainsi que pour le ministère.

Ensuite de les sensibiliser sur le concept de la GAR et ses avantages par rapport au PPO. Enfin identifié les capacités existantes pour l'évaluation afin des outillés en suivi-évaluation. Aussi, de chercher à savoir les capacités financières et organisationnels de la structure devant assurer le suivi-évaluation: si ces capacités sont inexistantes nous devrons songer à trouver des créneaux pour les accompagner à en acquérir.

Enfin, la présence des champions pourrait davantage consolider la pratique et la culture de l'évaluation. Pour cela, il faudrait que ces champions aient du poids et de la voix dans les structures. Cela pourrait se faire par la prise des lois encadrant et protégeant les évaluateurs de telle sorte qu'ils ne puissent pas être influencés dans leurs missions, que les résultats des évaluations puissent être utilisés véritablement pour des changements innovants, que les champions puissent être responsabilisés dans leur structure si possible et introduire des questions d'évaluations dans les lettres de missions des agents du ministère de l'agriculture. A ce niveau, les professionnels de l'évaluation pourront être un pilier incontournable pour les champions: pour le partage d'expérience et le raffermissement de la pratique et la culture de l'évaluation au sein de ce ministère.

Abdulkareem Lawal & Kai Schrader

Abdulkareem Lawal & Kai Schrader

AVANTI Project

The AVANTI AG-Scan approach aims to help strengthen the ability of national governments to effectively engage in results-based management (RBM). It starts by creating the conditions for a meaningful self-assessment by governments and other key players around monitoring, reporting and acting in support of Agenda 2030’s Sustainable Development Goals (SDGs) in the agricultural and rural development sector.

Our experiences from conducting AG-Scans in ten countries so far shows varied levels of M&E capacity in countries and stakeholders are often very clear about existing challenges, including those relating to routine evaluations. There also exist good knowledge of RBM – although there are slight variations in how countries use the language of RBM; some simply situate M&E within the broad confines of RBM and stick to the “M&E language”. Overall, key challenges relate to political will and funding to undertake the evaluations – there is evidence that agriculture ministries do have M&E plans in place, which include periodic evaluations. However, for evaluations to take place, there has to be the commitment and support at senior leadership levels. In addition, there are often capacity gaps to undertake such evaluations, and ministries often cannot afford to engage independent consultants to undertake evaluations. Moreover, taking findings from evaluation into account during the planning and budgeting phase is still a rare habit.

The AG-Scan process advocates for behaviour change that is focused on a knowledge sharing and learning culture and achieving results and robust evidence for decision making; and stresses the role of leadership and management for making this effective. In the countries where AG-Scans have taken place, policy makers alluded to the challenges that they face such as political restrains and institutional, routines, personal motivations and limitations on resources. There was, nonetheless, evidence of commitment and involvement from leaders and senior ministry officials to create and drive a culture of RBM and managing for results, either at the level of the agriculture and other ministries or at the level of agencies within the ministry.

 

Abdulkareem Lawal & Kai Schrader (AVANTI)

Chers amis,

Merci pour vos commentaires riches et sensés, qui démontrent vos solide expériences et réflexions sur ces questions.

Cher Tim, les idées d'un système qui s’appuie sur des collaborations avec des instituts de recherche sont en effet intéressantes. Vous signalez la nécessité d'unifier les systèmes de données et d'investir dans les outils technologiques, parallèlement au développement des capacités nécessaires: votre expérience vous permet-elle d’identifier de qui peuvent venir de tels investissements? S'agit-il d’encourager les politiques ou de trouver des partenaires financiers?

En ce qui concerne la nécessité de mieux connecter les évaluateurs avec le ministère de l'Agriculture et de trouver des agents de changement ou des champions, comme l'ont également souligné nos collègues d'AVANTI, nous convenons qu'il s'agit de leviers importants pour que l’évaluation soit effective. La question demeure: comment inciter ces cercles vertueux? Si quelqu’un souhaite partager des éléments de réussite à cet égard, vos réflexions sont les bienvenues!

Merci, Aurélie

Hi Aurelie,

our experience shows that although we have gained some ground with policymakers to make them recognise the need for investment in data, we need more traction to get them to commit resources. An ideal strategy in my view is to get a partner willing to put up investments for a pilot. once we demonstrate the effectiveness of such a system, it would be easier to attract more resources especially when demonstrating value for investment.

Thanks, 

Tim

 

Au Sénégal, comme dans beaucoup de pays la disponibilité des données agricoles reste toujours un challenge. LA FAO Sénégal dans le cadre du programme GAFSP MMI, est entrain d'expérimenté une nouvelle initiative dans ce domaine pour faciliter la disponibilité des données du secteur agricole. le principal souci est l'agriculture des exploitation familiale ou des petits exploitants agricoles qui représente plus de 60% de la production agricole au Sénégal. Ainsi dans cette nouvelle initiative, les données sont cherchés à la base par le biais des organisations de producteurs. il 'agit de former des animateurs et superviseurs issus des organisations de producteurs en collecte de données quanti et quali d'évaluation et de suivi agricoles via des tablettes Android qui sont mis à leurs dispositions contenant l'application KOBOcollect. dans cette perspectives avec l'entrée des organisations de producteurs qui sont sous la supervision des Directions régionales de l'agriculture nous pensons établir un dispositif qui permettra d'avoir en permanence des données actualisées. Aujourd'hui, nous sommes en phase pilote de cette initiative dans la région de Tambacounda avec le projet GAFSP MMI inscrit dans une logique de renforcement de l'autonomisation des organisation de producteurs pour contribuer aux renforcements de la productivité des petits exploitants qui sont affiliés. la mise à l'échelle de cette nouvelle dispositive avec l'entrée OP, pourrait permettre au Sénégal de faire face à ce challenge de données de la production agricole au niveau national. Ainsi l'expérience pourrait aussi partager par d'autres de la sous région voire ailleurs dans le monde.

The main weakness in M&E is the weakneess in collection of field data and its subsequent analysis. This is the aspect which needs the most attention. Local universities are the best way for these surveys to be carried out, as presented in the attachment