Evaluation in the Agriculture sector: what do we know about countries’ capacities?

Evaluation in the Agriculture sector: what do we know about countries’ capacities?

Evaluation and, more generally, Results-Based Management (RBM) are amongst the best-known instruments to strengthen accountability and learning, and, ultimately, improve policies and practices. 

La evaluación en el sector agrícola: ¿qué sabemos acerca de las capacidades de los países?  

La evaluación y -de manera más general- la gestión basada en los resultados (GBR) son unas de las herramientas más conocidas para fortalecer la rendición de cuentas y el aprendizaje, y ‑en última instancia- mejorar las políticas y prácticas. ¿Cómo las utilizan las instituciones involucradas en el sector agrícola?, y ¿cuentan los funcionarios que trabajan en éste con las capacidades y recursos adecuados para realizar evaluaciones?

Los conocimientos sobre estos temas son aparentemente limitados. Por tanto, la Oficina de Evaluación de la FAO y EvalForward han empezado a estudiar la dinámica de la evaluación en los Ministerios de Agricultura y su relación con otras instituciones involucradas en este sector.

Mientras se realiza este estudio, el Foro Internacional Francófono sobre Evaluación FIFE2019, celebrado en Uagadugú del 11 al 15 de noviembre, ofreció la oportunidad de intercambiar ideas sobre estos asuntos con los participantes. En una mesa redonda con representantes de las unidades de seguimiento y evaluación (SyE) de los Ministerios de Agricultura de Camerún, Benin y Burkina Faso –y del proyecto “AVANTI” (cuya presentación se adjunta), que presentó experiencias relevantes-, compartí algunos resultados preliminares del estudio para orientar las discusiones. Estos resultados se presentan brevemente a fin de suscitar nuevas reflexiones.

Una primera conclusión es que la evaluación continúa estando dirigida –en gran medida- por las unidades centrales. Aunque la mayoría de los países contactados cuentan con unidades de seguimiento y evaluación (SyE) en sus Ministerios de Agricultura, sus funciones efectivas para medir los resultados de las políticas o programas del sector varían mucho de un país a otro y suelen ser limitadas.

A estas unidades se les suele encomendar una misión de amplio alcance, que abarca tanto la planificación de las actividades -incluida la elaboración de presupuestos- como la evaluación del desempeño de los programas en función de los objetivos estipulados en los planes de trabajo. En muchos casos, no se prioriza su misión de evaluación, la etapa final del ciclo de GBR. La evaluación requiere competencias e inversiones específicas. Sin embargo, los recursos presupuestarios destinados a las unidades de SyE suelen ser insuficientes para una inversión real en la evaluación, y el personal asignado es escaso (un promedio de 12 personas por país) y carece de formación adecuada.

La evaluación es más sistemática en el contexto de los proyectos, cuando se trata de un requisito de los donantes externos -que le asignan una partida presupuestaria- y una condición para recibir ayuda en el futuro. Por tanto, la evaluación no se suele realizar a nivel de las políticas y programas nacionales y compite -a nivel financiero- con las actividades de programación, habitualmente priorizadas por los responsables de la formulación de políticas en su intento por presentar resultados tangibles a corto plazo.

La influencia fundamental de los “paladines” de la evaluación queda también demostrada por el reducido número de países en los que ésta se ha desarrollado adecuadamente y podría considerarse institucionalizada: se lo deben al apoyo de interlocutores concienciados en las instancias más elevadas de los respectivos gobiernos.

La relación entre los Ministerios de Agricultura y las unidades centrales encargadas de la evaluación en los países suele corresponder a la de un sistema formal de presentación de informes más que a una colaboración entre evaluadores. Además, el dinamismo de las unidades centrales es un factor con una influencia importante en su capacidad para promover la cultura de la evaluación en los países, y especialmente en los ministerios relacionados con el sector.

Hasta la fecha, se han dado tres tipos de situaciones:

  • Países “avanzados” en los que las instituciones nacionales desempeñan una función de evaluación en el sector agrícola;
  • Países cuyas unidades de SyE de los ministerios apoyan el seguimiento basado en los resultados, pero no practican la evaluación;
  • Países cuyas instituciones del sector aún no parecen haber incorporado los conceptos de la GBR.

Los resultados preliminares del estudio se resumen aquí (en francés). Estos resultados iniciales deberán confirmarse una vez que se hayan recopilado más ejemplos, con el objetivo de finalizar el estudio a principios de 2020. Algunas preguntas siguen abiertas:

  • ¿Es necesario internalizar la función de evaluación en los ministerios relacionados con el sector para garantizar que las políticas y programas sectoriales se evalúan adecuadamente? ¿O en cambio se debería centrar la atención en fortalecer los vínculos entre los evaluadores profesionales y estos ministerios y desarrollar su capacidad para planificar y realizar evaluaciones y maximizar sus beneficios? Esto también respondería a la necesidad de preservar la independencia de la evaluación.
  • ¿Qué factores pueden influir en la aparición de “paladines” de la evaluación en las instituciones públicas y cuáles pueden contribuir a garantizar una inversión adecuada en la función de evaluación?

Invitamos a los miembros de EvalForward a compartir sus reflexiones sobre estas cuestiones y el tema más general de la institucionalización de la evaluación en el sector agrícola.

 

In Kenya, like other developing countries, data within the agriculture sector remains a challenge. This has constrained the RBM model where a lot of focus remains on the processes rather than moving on to outcomes. Many of the ministry's reports give a lot of prominence to the processes and targets achieved for process indicators, and use this to claim success even when independent studies have pointed to little or no progress has been achieved in outputs and outcomes of these processes. At Tegemeo Institute, we have been tracking key indicators and trends within the agriculture sector and have learned some key useful lessons. First, there is need to have a unified data system. A unified system becomes more relevant in devolved systems like Kenya's where the devolved units are semi-autonomous. Second, there is need for continuous capacity development within the systems to ensure that quality data is continuously collected, managed, analysed and shared. Third, leveraging on technology ensures to ensure that credible and quality data is collected and used to inform decisions. 

The Ministry of Agriculture should strengthen the linkages with evaluators within the public and private sectors to improve the quality of evaluations while maintaining the independence of evaluators to make assessment from the evaluation studies and recommend action to be taken to maximise impacts. In addition, identifying change agents who disrupt the BAU position is necessary to be outcome-oriented and use lessons from evaluation to design and implement impactful policies and programs

My biggest concern for all host government activities such as managing evaluations is "is there sufficient financial resources to do an effective job or if not will tasked be highly compromised by officers attempting to complete evaluation based on personal expectations rather than solid fact". The concern is based on most host governments FAO works with are what I refer to as financially suppressed economics where so much of individual wages or labor goes to meet basic subsistence needs that there is not sufficient discretionary funds to form a viable tax based to support government services such as evaluations. This then results in a lot of informal income activities interfering with effective governance. Governments are for all practical purposes financially stalled.  Please review the webpages:

https://smallholderagriculture.agsci.colostate.edu/financially-suppress…

https://smallholderagriculture.agsci.colostate.edu/financially-stalled-…

https://smallholderagriculture.agsci.colostate.edu/impact-of-financiall…

https://smallholderagriculture.agsci.colostate.edu/informal-income-oppo…  

Sur l'institutionnalisation au sein du ministère de l'agriculture, j'estime qu'il faut susciter l'engagement des acteurs de l'agriculture. Faire prendre conscience de la place des évaluations dans l'amélioration de leur performance est un élément fondamental pour leurs activités quotidiennes, leur service et pour leur ministère. Cela pourrait se faire par l'identification des motivations des acteurs en matière d'évaluation ou suscité des motivations en matière d'évaluation par l'information et la sensibilisation sur qu'est-ce que le suivi, l'évaluation, leur lien et l'importance de l'évaluation pour les acteurs eux-mêmes et pour la réussite de leur mission ainsi que pour le ministère.

Ensuite de les sensibiliser sur le concept de la GAR et ses avantages par rapport au PPO. Enfin identifié les capacités existantes pour l'évaluation afin des outillés en suivi-évaluation. Aussi, de chercher à savoir les capacités financières et organisationnels de la structure devant assurer le suivi-évaluation: si ces capacités sont inexistantes nous devrons songer à trouver des créneaux pour les accompagner à en acquérir.

Enfin, la présence des champions pourrait davantage consolider la pratique et la culture de l'évaluation. Pour cela, il faudrait que ces champions aient du poids et de la voix dans les structures. Cela pourrait se faire par la prise des lois encadrant et protégeant les évaluateurs de telle sorte qu'ils ne puissent pas être influencés dans leurs missions, que les résultats des évaluations puissent être utilisés véritablement pour des changements innovants, que les champions puissent être responsabilisés dans leur structure si possible et introduire des questions d'évaluations dans les lettres de missions des agents du ministère de l'agriculture. A ce niveau, les professionnels de l'évaluation pourront être un pilier incontournable pour les champions: pour le partage d'expérience et le raffermissement de la pratique et la culture de l'évaluation au sein de ce ministère.

Abdulkareem Lawal & Kai Schrader

Abdulkareem Lawal & Kai Schrader

AVANTI Project

The AVANTI AG-Scan approach aims to help strengthen the ability of national governments to effectively engage in results-based management (RBM). It starts by creating the conditions for a meaningful self-assessment by governments and other key players around monitoring, reporting and acting in support of Agenda 2030’s Sustainable Development Goals (SDGs) in the agricultural and rural development sector.

Our experiences from conducting AG-Scans in ten countries so far shows varied levels of M&E capacity in countries and stakeholders are often very clear about existing challenges, including those relating to routine evaluations. There also exist good knowledge of RBM – although there are slight variations in how countries use the language of RBM; some simply situate M&E within the broad confines of RBM and stick to the “M&E language”. Overall, key challenges relate to political will and funding to undertake the evaluations – there is evidence that agriculture ministries do have M&E plans in place, which include periodic evaluations. However, for evaluations to take place, there has to be the commitment and support at senior leadership levels. In addition, there are often capacity gaps to undertake such evaluations, and ministries often cannot afford to engage independent consultants to undertake evaluations. Moreover, taking findings from evaluation into account during the planning and budgeting phase is still a rare habit.

The AG-Scan process advocates for behaviour change that is focused on a knowledge sharing and learning culture and achieving results and robust evidence for decision making; and stresses the role of leadership and management for making this effective. In the countries where AG-Scans have taken place, policy makers alluded to the challenges that they face such as political restrains and institutional, routines, personal motivations and limitations on resources. There was, nonetheless, evidence of commitment and involvement from leaders and senior ministry officials to create and drive a culture of RBM and managing for results, either at the level of the agriculture and other ministries or at the level of agencies within the ministry.

 

Abdulkareem Lawal & Kai Schrader (AVANTI)

Dear friends,

Thank you for these very rich and sensible comments, which demonstrate a solid experience and thinking on these issues.

Dear Tim, the idea of a system that relies on enabled collaborations with research institutes is indeed interesting. You point to the need to unifying data systems, and investing in technology, alongside with the necessary capacity development: does your experience help identify who could support such investments? Is this a matter of inciting the political or finding financing partners?

As regards the need to better connect evaluators with the Ministry of Agriculture, and finding change agents or leaders, as also pointed by our colleagues from AVANTI, we agree these are important levers to promote effective evaluation. The question remains: what incentivizes these positive spins? If anyone want to share any elements of success in this respect, we will welcome your thoughts!

Thank you, Aurelie

Hi Aurelie,

our experience shows that although we have gained some ground with policymakers to make them recognise the need for investment in data, we need more traction to get them to commit resources. An ideal strategy in my view is to get a partner willing to put up investments for a pilot. once we demonstrate the effectiveness of such a system, it would be easier to attract more resources especially when demonstrating value for investment.

Thanks, 

Tim

 

Au Sénégal, comme dans beaucoup de pays la disponibilité des données agricoles reste toujours un challenge. LA FAO Sénégal dans le cadre du programme GAFSP MMI, est entrain d'expérimenté une nouvelle initiative dans ce domaine pour faciliter la disponibilité des données du secteur agricole. le principal souci est l'agriculture des exploitation familiale ou des petits exploitants agricoles qui représente plus de 60% de la production agricole au Sénégal. Ainsi dans cette nouvelle initiative, les données sont cherchés à la base par le biais des organisations de producteurs. il 'agit de former des animateurs et superviseurs issus des organisations de producteurs en collecte de données quanti et quali d'évaluation et de suivi agricoles via des tablettes Android qui sont mis à leurs dispositions contenant l'application KOBOcollect. dans cette perspectives avec l'entrée des organisations de producteurs qui sont sous la supervision des Directions régionales de l'agriculture nous pensons établir un dispositif qui permettra d'avoir en permanence des données actualisées. Aujourd'hui, nous sommes en phase pilote de cette initiative dans la région de Tambacounda avec le projet GAFSP MMI inscrit dans une logique de renforcement de l'autonomisation des organisation de producteurs pour contribuer aux renforcements de la productivité des petits exploitants qui sont affiliés. la mise à l'échelle de cette nouvelle dispositive avec l'entrée OP, pourrait permettre au Sénégal de faire face à ce challenge de données de la production agricole au niveau national. Ainsi l'expérience pourrait aussi partager par d'autres de la sous région voire ailleurs dans le monde.

The main weakness in M&E is the weakneess in collection of field data and its subsequent analysis. This is the aspect which needs the most attention. Local universities are the best way for these surveys to be carried out, as presented in the attachment