Evaluation in the Agriculture sector: what do we know about countries’ capacities?

Evaluation in the Agriculture sector: what do we know about countries’ capacities?

Evaluation and, more generally, Results-Based Management (RBM) are amongst the best-known instruments to strengthen accountability and learning, and, ultimately, improve policies and practices. How are these applied by institutions concerned with agriculture, and are officials working in this sector equipped with adequate capacities and resources to carry out evaluation? 

Knowledge seems to be scarce on these questions. Hence, the FAO Office of Evaluation and EvalForward started exploring the dynamics of evaluation within Ministries of Agriculture and their relations with other institutions who play a role.

While the study is ongoing, the Francophone International Forum on Evaluation - FIFE2019, held in Ouagadougou from 11 to 15 November, provided an opportunity to exchange ideas on these questions with Conference participants. In a Round Table with representatives from M&E units in Ministries of Agriculture in Cameroon, Benin and Burkina Faso, and from the AVANTI project, who presented relevant experiences, I shared some preliminary results emerging from the study as a basis for the discussion. These are presented in brief, to generate further reactions from the community.

A first finding is that evaluation is still largely led at central level, and although most countries contacted have M&E units within the Ministry of Agriculture, their roles in measuring results in the sector vary widely across countries and are often limited.

These units are most often tasked with a broad mission, covering both the planning of activities, including budgeting, and programme performance against work plans. In many cases, their evaluation mission, as final stage of the RBM cycle, is not prioritized. Evaluation calls for specific skills and investments. Yet, budgetary resources dedicated to these units are usually insufficient for a genuine investment in evaluation, and the staff made available to the M&E units of the Ministry of Agriculture are limited in number (12 staff nationwide on average) and lack appropriate training.

Evaluation is more systematic in the context of projects, when it is levied by external donors who add a budget line, and when it is a condition of future aid. Evaluation is thus rarely conducted at the level of national policies and programs, being in financial competition with programming activities, most often prioritized by policy makers looking to show tangible deliverables in their short term time span.

The pivotal influence of political ‘champions’ of evaluation is also demonstrated by the few countries where evaluation has been well developed and could be said to be institutionalized: they owe it to the support of conscious interlocutors at the highest level of the government.

Looking at the relationship between the Ministry of Agriculture and the central units responsible for evaluation in the countries, it looks like this is usually a formal reporting system rather than a collaboration between evaluators. In addition, the dynamism of the central units is a factor that strongly influences their ability to promote the evaluation culture within countries, and especially in sector ministries.

To date, three types of situations are emerging:

  • Advanced countries, where national institutions sustain an evaluation function in the agricultural sector;
  • The countries or M&E units of Ministries support results-based monitoring but do not practice evaluation;
  • Countries where the concepts underpinning RBM do not yet seem to have penetrated institutions of the sector.

The preliminary results of the study are summarized here (in French). These initial results will have to be confirmed with the collection of more cases, with the aim to finalize the study early in 2020. Some questions remain open:

  • Is there a need to internalize the evaluation function in sector-based Ministries, to ensure that the sector policies and programmes are appropriately evaluated? Or instead, should the priority be on better linking professional evaluators to these public institutions, while simply increasing the sectoral ministries’ capacities to plan evaluations and maximize their benefits? The latter would also responds to the need for evaluation to remain independent.
  • Which levers may influence the emergence of evaluation champions within public institutions and which may help to ensure adequate investments in the evaluation function? 

We invite members of the Community to share their perspectives around these and the broader question of institutionalization of evaluation in the agriculture sector. 

*** 

L’Evaluation dans le secteur de l’agriculture: que sait-on des capacités des pays?

L’évaluation et plus généralement la Gestion Axée sur les Résultats (GAR) sont des outils nécessaires pour renforcer la redevabilité et l’apprentissage, et in-fine contribuer à améliorer les politiques et pratiques. Comment ceux-ci sont-ils appliqués par les institutions concernées par l'agriculture, et les fonctionnaires travaillant dans ce secteur sont-ils dotés des capacités et des ressources adéquates pour effectuer l'évaluation?

L’état des connaissances sur ce sujet est très diffus. Partant, le Bureau de l’Evaluation de la FAO et EvalForward ont commencé une étude pour renseigner les dynamiques de l’évaluation au sein des Ministères de l’agriculture et leur relation avec les autres institutions qui évaluent ce secteur.

Alors que cette étude est en cours, le Forum International Francophone de l’Evaluation -FIFE 2019 qui s’est tenu à Ouagadougou du 11 au 15 Novembre a fourni une occasion d’échanger sur ces questions.  Lors d'une table ronde qui réunissait aussi des dirigeants des unités de Suivi et Evaluation  (S&E)des ministères de l'Agriculture au Cameroun, au Bénin et au Burkina Faso, ainsi que du projet AVANTI, j'ai partagé les résultats émergents à ce stade de l'étude comme base de discussion. Je souhaitais les presenter brièvement au reste de notre communauté de pratique pour susciter d'autres réflexions ou partages d’expériences de la part des membres.

Une première constatation est que l’évaluation reste encore en grande partie une fonction centralisée, au ministère du plan, à la présidence, etc. Et bien qu’une grande majorité des pays contactés aient des unités de S&E au sein du Ministère de l’Agriculture, leurs rôles effectifs dans la mesure des résultats des politiques ou programmes du secteur est très variable selon les pays, et souvent limité.

Les unités de S&E du Ministère de l’Agriculture sont le plus souvent chargées d’une mission large, couvrant aussi la planification des activités, la mesure d’avancement des activités  ou le suivi des décaissements budgétaires. Ainsi, dans de nombreuses cas, leur mission d’évaluation, étape ultime et coûteuse, n’est pas priorisée et donc jamais mise en œuvre. L’évaluation appelle effectivement à des compétences et investissements spécifiques. Or, les ressources budgétaires dédiées à ces unités sont le plus souvent insuffisantes pour permettre de conduire des évaluations sérieuses, et le personnel limité (avec 12 employés en moyenne) et peu formé.

L’évaluation est plus systématique dans le cadre de projets, parce qu’elle y est imposée pas les donateurs, qui y ajoutent une ligne budgétaire. Elle n’est ainsi quasiment jamais conduite au niveau des politiques et programmes nationaux, étant en compétition financière avec des activités de programmation, le plus souvent priorisée par des décideurs politiques cherchant à faire valoir des accomplissements tangibles à relativement court terme.

L’influence de « interlocuteurs conscients» soutenant l’évaluation au plus haut niveau de gouvernement semble être cruciale pour la mise en place de cette fonction dans les institutions publiques, y compris au travers d’un investissement substantiel. Cela semble être le fil rouge des rares pays où l’évaluation s’est établie avec succès et où l’on pourrait dire qu’elle est institutionnalisée.

Les relations entre Ministère de l’Agriculture et unités centrales en charge de l’évaluation dans les pays relève le plus souvent d’un système formel de reportage plus que d’une collaboration entre évaluateurs. Et le dynamisme des unités centrales est un facteur qui influence fortement leurs capacités à promouvoir la culture évaluative au sein des pays, et notamment dans les Ministères sectoriels.

Ainsi, à ce jour, trois types de situations se dégagent:

  • Les pays avancés où les institutions nationales assurent une fonction d'évaluation dans le secteur agricole;
  • Les pays ou les unités de suivi et d'évaluation des ministères soutiennent le suivi fondé sur les résultats mais ne pratiquent pas l'évaluation;
  • Les pays où les concepts sous-jacents à la GAR ne semblent pas encore avoir pénétré les institutions du secteur.

Les résultats préliminaires de l'étude sont disponibles à ce lien. Ces premiers résultats devront être confirmés par la collecte d'un plus grand nombre de cas, dans le but de finaliser l'étude au début de 2020. Certaines questions restent en suspens:

  • Devrait-il y avoir un engagement minimum nécessaire du Ministère de l’Agriculture, pour assurer la prise en charge des aspects techniques des évaluations ? Ou est-il plutôt nécessaire de renforcer le lien entre évaluateurs professionnels et institutions publiques, tout en renforçant les capacités de ces dernières à planifier et maximiser l’utilité des évaluations ?
  • Quels leviers peuvent influencer l'émergence de « champions » de l'évaluation au sein des institutions publiques, qui puissent aider à garantir des investissements suffisants dans une fonction d'évaluation?

Nous invitons les membres de EvalForward à partager leurs points de vue sur ces questions et sur la question plus générale de l'institutionnalisation de l'évaluation dans le secteur de l'agriculture. 

***

La evaluación en el sector agrícola: ¿qué sabemos acerca de las capacidades de los países?  

La evaluación y -de manera más general- la gestión basada en los resultados (GBR) son unas de las herramientas más conocidas para fortalecer la rendición de cuentas y el aprendizaje, y ‑en última instancia- mejorar las políticas y prácticas. ¿Cómo las utilizan las instituciones involucradas en el sector agrícola?, y ¿cuentan los funcionarios que trabajan en éste con las capacidades y recursos adecuados para realizar evaluaciones?

Los conocimientos sobre estos temas son aparentemente limitados. Por tanto, la Oficina de Evaluación de la FAO y EvalForward han empezado a estudiar la dinámica de la evaluación en los Ministerios de Agricultura y su relación con otras instituciones involucradas en este sector.

Mientras se realiza este estudio, el Foro Internacional Francófono sobre Evaluación FIFE2019, celebrado en Uagadugú del 11 al 15 de noviembre, ofreció la oportunidad de intercambiar ideas sobre estos asuntos con los participantes. En una mesa redonda con representantes de las unidades de seguimiento y evaluación (SyE) de los Ministerios de Agricultura de Camerún, Benin y Burkina Faso –y del proyecto “AVANTI” (cuya presentación se adjunta), que presentó experiencias relevantes-, compartí algunos resultados preliminares del estudio para orientar las discusiones. Estos resultados se presentan brevemente a fin de suscitar nuevas reflexiones.

Una primera conclusión es que la evaluación continúa estando dirigida –en gran medida- por las unidades centrales. Aunque la mayoría de los países contactados cuentan con unidades de seguimiento y evaluación (SyE) en sus Ministerios de Agricultura, sus funciones efectivas para medir los resultados de las políticas o programas del sector varían mucho de un país a otro y suelen ser limitadas.

A estas unidades se les suele encomendar una misión de amplio alcance, que abarca tanto la planificación de las actividades -incluida la elaboración de presupuestos- como la evaluación del desempeño de los programas en función de los objetivos estipulados en los planes de trabajo. En muchos casos, no se prioriza su misión de evaluación, la etapa final del ciclo de GBR. La evaluación requiere competencias e inversiones específicas. Sin embargo, los recursos presupuestarios destinados a las unidades de SyE suelen ser insuficientes para una inversión real en la evaluación, y el personal asignado es escaso (un promedio de 12 personas por país) y carece de formación adecuada.

La evaluación es más sistemática en el contexto de los proyectos, cuando se trata de un requisito de los donantes externos -que le asignan una partida presupuestaria- y una condición para recibir ayuda en el futuro. Por tanto, la evaluación no se suele realizar a nivel de las políticas y programas nacionales y compite -a nivel financiero- con las actividades de programación, habitualmente priorizadas por los responsables de la formulación de políticas en su intento por presentar resultados tangibles a corto plazo.

La influencia fundamental de los “paladines” de la evaluación queda también demostrada por el reducido número de países en los que ésta se ha desarrollado adecuadamente y podría considerarse institucionalizada: se lo deben al apoyo de interlocutores concienciados en las instancias más elevadas de los respectivos gobiernos.

La relación entre los Ministerios de Agricultura y las unidades centrales encargadas de la evaluación en los países suele corresponder a la de un sistema formal de presentación de informes más que a una colaboración entre evaluadores. Además, el dinamismo de las unidades centrales es un factor con una influencia importante en su capacidad para promover la cultura de la evaluación en los países, y especialmente en los ministerios relacionados con el sector.

Hasta la fecha, se han dado tres tipos de situaciones:

  • Países “avanzados” en los que las instituciones nacionales desempeñan una función de evaluación en el sector agrícola;
  • Países cuyas unidades de SyE de los ministerios apoyan el seguimiento basado en los resultados, pero no practican la evaluación;
  • Países cuyas instituciones del sector aún no parecen haber incorporado los conceptos de la GBR.

Los resultados preliminares del estudio se resumen aquí (en francés). Estos resultados iniciales deberán confirmarse una vez que se hayan recopilado más ejemplos, con el objetivo de finalizar el estudio a principios de 2020. Algunas preguntas siguen abiertas:

  • ¿Es necesario internalizar la función de evaluación en los ministerios relacionados con el sector para garantizar que las políticas y programas sectoriales se evalúan adecuadamente? ¿O en cambio se debería centrar la atención en fortalecer los vínculos entre los evaluadores profesionales y estos ministerios y desarrollar su capacidad para planificar y realizar evaluaciones y maximizar sus beneficios? Esto también respondería a la necesidad de preservar la independencia de la evaluación.
  • ¿Qué factores pueden influir en la aparición de “paladines” de la evaluación en las instituciones públicas y cuáles pueden contribuir a garantizar una inversión adecuada en la función de evaluación?

Invitamos a los miembros de EvalForward a compartir sus reflexiones sobre estas cuestiones y el tema más general de la institucionalización de la evaluación en el sector agrícola.

 

In Kenya, like other developing countries, data within the agriculture sector remains a challenge. This has constrained the RBM model where a lot of focus remains on the processes rather than moving on to outcomes. Many of the ministry's reports give a lot of prominence to the processes and targets achieved for process indicators, and use this to claim success even when independent studies have pointed to little or no progress has been achieved in outputs and outcomes of these processes. At Tegemeo Institute, we have been tracking key indicators and trends within the agriculture sector and have learned some key useful lessons. First, there is need to have a unified data system. A unified system becomes more relevant in devolved systems like Kenya's where the devolved units are semi-autonomous. Second, there is need for continuous capacity development within the systems to ensure that quality data is continuously collected, managed, analysed and shared. Third, leveraging on technology ensures to ensure that credible and quality data is collected and used to inform decisions. 

The Ministry of Agriculture should strengthen the linkages with evaluators within the public and private sectors to improve the quality of evaluations while maintaining the independence of evaluators to make assessment from the evaluation studies and recommend action to be taken to maximise impacts. In addition, identifying change agents who disrupt the BAU position is necessary to be outcome-oriented and use lessons from evaluation to design and implement impactful policies and programs

My biggest concern for all host government activities such as managing evaluations is "is there sufficient financial resources to do an effective job or if not will tasked be highly compromised by officers attempting to complete evaluation based on personal expectations rather than solid fact". The concern is based on most host governments FAO works with are what I refer to as financially suppressed economics where so much of individual wages or labor goes to meet basic subsistence needs that there is not sufficient discretionary funds to form a viable tax based to support government services such as evaluations. This then results in a lot of informal income activities interfering with effective governance. Governments are for all practical purposes financially stalled.  Please review the webpages:

https://smallholderagriculture.agsci.colostate.edu/financially-suppress…

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-…

https://smallholderagriculture.agsci.colostate.edu/impact-of-financiall…

https://smallholderagriculture.agsci.colostate.edu/informal-income-oppo…  

Sur l'institutionnalisation au sein du ministère de l'agriculture, j'estime qu'il faut susciter l'engagement des acteurs de l'agriculture. Faire prendre conscience de la place des évaluations dans l'amélioration de leur performance est un élément fondamental pour leurs activités quotidiennes, leur service et pour leur ministère. Cela pourrait se faire par l'identification des motivations des acteurs en matière d'évaluation ou suscité des motivations en matière d'évaluation par l'information et la sensibilisation sur qu'est-ce que le suivi, l'évaluation, leur lien et l'importance de l'évaluation pour les acteurs eux-mêmes et pour la réussite de leur mission ainsi que pour le ministère.

Ensuite de les sensibiliser sur le concept de la GAR et ses avantages par rapport au PPO. Enfin identifié les capacités existantes pour l'évaluation afin des outillés en suivi-évaluation. Aussi, de chercher à savoir les capacités financières et organisationnels de la structure devant assurer le suivi-évaluation: si ces capacités sont inexistantes nous devrons songer à trouver des créneaux pour les accompagner à en acquérir.

Enfin, la présence des champions pourrait davantage consolider la pratique et la culture de l'évaluation. Pour cela, il faudrait que ces champions aient du poids et de la voix dans les structures. Cela pourrait se faire par la prise des lois encadrant et protégeant les évaluateurs de telle sorte qu'ils ne puissent pas être influencés dans leurs missions, que les résultats des évaluations puissent être utilisés véritablement pour des changements innovants, que les champions puissent être responsabilisés dans leur structure si possible et introduire des questions d'évaluations dans les lettres de missions des agents du ministère de l'agriculture. A ce niveau, les professionnels de l'évaluation pourront être un pilier incontournable pour les champions: pour le partage d'expérience et le raffermissement de la pratique et la culture de l'évaluation au sein de ce ministère.

Abdulkareem Lawal & Kai Schrader

Abdulkareem Lawal & Kai Schrader

AVANTI Project

The AVANTI AG-Scan approach aims to help strengthen the ability of national governments to effectively engage in results-based management (RBM). It starts by creating the conditions for a meaningful self-assessment by governments and other key players around monitoring, reporting and acting in support of Agenda 2030’s Sustainable Development Goals (SDGs) in the agricultural and rural development sector.

Our experiences from conducting AG-Scans in ten countries so far shows varied levels of M&E capacity in countries and stakeholders are often very clear about existing challenges, including those relating to routine evaluations. There also exist good knowledge of RBM – although there are slight variations in how countries use the language of RBM; some simply situate M&E within the broad confines of RBM and stick to the “M&E language”. Overall, key challenges relate to political will and funding to undertake the evaluations – there is evidence that agriculture ministries do have M&E plans in place, which include periodic evaluations. However, for evaluations to take place, there has to be the commitment and support at senior leadership levels. In addition, there are often capacity gaps to undertake such evaluations, and ministries often cannot afford to engage independent consultants to undertake evaluations. Moreover, taking findings from evaluation into account during the planning and budgeting phase is still a rare habit.

The AG-Scan process advocates for behaviour change that is focused on a knowledge sharing and learning culture and achieving results and robust evidence for decision making; and stresses the role of leadership and management for making this effective. In the countries where AG-Scans have taken place, policy makers alluded to the challenges that they face such as political restrains and institutional, routines, personal motivations and limitations on resources. There was, nonetheless, evidence of commitment and involvement from leaders and senior ministry officials to create and drive a culture of RBM and managing for results, either at the level of the agriculture and other ministries or at the level of agencies within the ministry.

 

Abdulkareem Lawal & Kai Schrader (AVANTI)

Dear friends,

Thank you for these very rich and sensible comments, which demonstrate a solid experience and thinking on these issues.

Dear Tim, the idea of a system that relies on enabled collaborations with research institutes is indeed interesting. You point to the need to unifying data systems, and investing in technology, alongside with the necessary capacity development: does your experience help identify who could support such investments? Is this a matter of inciting the political or finding financing partners?

As regards the need to better connect evaluators with the Ministry of Agriculture, and finding change agents or leaders, as also pointed by our colleagues from AVANTI, we agree these are important levers to promote effective evaluation. The question remains: what incentivizes these positive spins? If anyone want to share any elements of success in this respect, we will welcome your thoughts!

Thank you, Aurelie

***

Chers amis,

Merci pour vos commentaires riches et sensés, qui démontrent vos solide expériences et réflexions sur ces questions.

Cher Tim, les idées d'un système qui s’appuie sur des collaborations avec des instituts de recherche sont en effet intéressantes. Vous signalez la nécessité d'unifier les systèmes de données et d'investir dans les outils technologiques, parallèlement au développement des capacités nécessaires: votre expérience vous permet-elle d’identifier de qui peuvent venir de tels investissements? S'agit-il d’encourager les politiques ou de trouver des partenaires financiers?

En ce qui concerne la nécessité de mieux connecter les évaluateurs avec le ministère de l'Agriculture et de trouver des agents de changement ou des champions, comme l'ont également souligné nos collègues d'AVANTI, nous convenons qu'il s'agit de leviers importants pour que l’évaluation soit effective. La question demeure: comment inciter ces cercles vertueux? Si quelqu’un souhaite partager des éléments de réussite à cet égard, vos réflexions sont les bienvenues!

Merci, Aurélie

Hi Aurelie,

our experience shows that although we have gained some ground with policymakers to make them recognise the need for investment in data, we need more traction to get them to commit resources. An ideal strategy in my view is to get a partner willing to put up investments for a pilot. once we demonstrate the effectiveness of such a system, it would be easier to attract more resources especially when demonstrating value for investment.

Thanks, 

Tim

 

Au Sénégal, comme dans beaucoup de pays la disponibilité des données agricoles reste toujours un challenge. LA FAO Sénégal dans le cadre du programme GAFSP MMI, est entrain d'expérimenté une nouvelle initiative dans ce domaine pour faciliter la disponibilité des données du secteur agricole. le principal souci est l'agriculture des exploitation familiale ou des petits exploitants agricoles qui représente plus de 60% de la production agricole au Sénégal. Ainsi dans cette nouvelle initiative, les données sont cherchés à la base par le biais des organisations de producteurs. il 'agit de former des animateurs et superviseurs issus des organisations de producteurs en collecte de données quanti et quali d'évaluation et de suivi agricoles via des tablettes Android qui sont mis à leurs dispositions contenant l'application KOBOcollect. dans cette perspectives avec l'entrée des organisations de producteurs qui sont sous la supervision des Directions régionales de l'agriculture nous pensons établir un dispositif qui permettra d'avoir en permanence des données actualisées. Aujourd'hui, nous sommes en phase pilote de cette initiative dans la région de Tambacounda avec le projet GAFSP MMI inscrit dans une logique de renforcement de l'autonomisation des organisation de producteurs pour contribuer aux renforcements de la productivité des petits exploitants qui sont affiliés. la mise à l'échelle de cette nouvelle dispositive avec l'entrée OP, pourrait permettre au Sénégal de faire face à ce challenge de données de la production agricole au niveau national. Ainsi l'expérience pourrait aussi partager par d'autres de la sous région voire ailleurs dans le monde.