From the EVAL-ForwARD Community: what are your evaluation challenges?

@FAO/Eoghan Molloy

From the EVAL-ForwARD Community: what are your evaluation challenges?

The latest discussion in the EVAL-ForwARD CoP covered challenges that evaluations encounter in the agriculture, rural development and food security sectors and beyond. Here is a summary of the issues emerging and ways forward suggested.

Participants in the discussion identified the following challenges and possible solutions in conducting evaluations of agriculture, rural development and food security programmes:   

  • Lack of or limited availability of baseline data and information. This problem can be addressed by reconstructing baselines for example using “recall” techniques.
  • Gender aspects are often treated as an afterthought, with no or very limited data and indicators to measure progress.
  • Limited accessibility of project sites due to either remoteness or security threats: this affects the selection of evaluators and the methods to use. In a recent evaluation of an FAO programme in Afghanistan, the team used open source data from Google and Google earth maps to mitigate this constraint.
  • Time required in agriculture to produce productivity gains.
  • Adoption capacities of local communities.
  • Social stratification of rural communities.

Some of these challenges also apply in other sectors of work. However, as one participant noted, the assessment of results in agriculture, rural development and food security are inherently complex as they are affected by a multiplicity of biophysical, economic and social systems and factors.

Discussions also evoked other challenges applicable across sectors: 

  • Limited time and budget for monitoring and evaluation, which affect the usability of evaluation results to improve interventions.  
  • Poor design of projects and their results frameworks and indicators, which undermine the project / programme evaluability.
  • Disconnect between monitoring and evaluation, while both should be considered as the two legs of a system, from which development actions can learn.
  • Lack of an evaluation culture and enabling environment for evaluation: several participants    stressed that there is often confusion between evaluation, inspection, auditing and investigation, which tends to position many evaluands in a defensive mode, instead of understanding the possible benefits of evaluation for them. The tendency of some managers to identify themselves to the programme they manage, compounds this latter effect, and leads them to feel personally threatened in their professional credibility.
  • Other types of confusion were highlighted, between evaluations and other types of studies such as self-assessments, socio-economic analyses, baseline studies etc. 
  • Evaluation commissioners that do not clarify evaluation process and methodological approaches from the outset, via clear ToRs, lead to unrealistic expectations from evaluations. 
  • Some mentioned the risks related to evaluators’ self-censorship, in front of difficult political contexts or when facing interferences or pressures.

These more general challenges call for evaluators to adopt a good soft skills mix, such as communication, negotiation, people management and creativity.

Last, participants shared some suggestions for moving way forward:

  • Evaluation networks should agree on clear sets of recommendations to enhance evaluation culture and a common understanding of the M&E on both supply and demand sides.
  • Advocacy for establishing clear links between Monitoring and Evaluation functions should continue at all levels.
  • It is important to support the development of an evaluation culture through awareness raising, including by evaluators at the outset of the evaluation work, and promoting an enabling environment for evaluation.

Most certainly, the question of challenges and solutions to address them will continue to nurture discussions in the EVAL-ForwARD Community of Practice. We will continue to facilitate the sharing of experiences and voices of practitioners to help advance the evaluation culture and knowledge.

This topic was raised by Hynda Krachni, and contributions were received by Serdar Bayryyev, Georgette Konate Traorè, Raymond Erik Zvavanyange, Isha Miranda, Mustapha Malki, Naser Qadous, Raoudha Jaouani.

***

La dernière discussion au sein de la communauté de pratique EVAL-ForwARD a porté sur les contraintes rencontrés par les évaluations dans les secteurs de l'agriculture, du développement rural et de la sécurité alimentaire et au-delà.

Voici un résumé des problèmes émergents et des solutions proposées.

Les participants à la discussion ont identifié les défis suivants et les solutions possibles pour mener des évaluations des programmes d’agriculture, de développement rural et de sécurité alimentaire:

  • Manque ou disponibilité limitée de données et d'informations de base. Ce problème peut être résolu en reconstruisant les lignes de base, par exemple en utilisant des techniques de «rappel».
  • Les aspects liés au genre sont souvent traités après coup, avec des données et des indicateurs inexistants ou très limités pour mesurer les progrès.
  • Accessibilité limitée des sites de projet due à la distance ou à des menaces pour la sécurité: cela affecte la sélection des évaluateurs et des méthodes à utiliser. Dans une récente évaluation d'un programme de la FAO en Afghanistan, l'équipe a utilisé des données open source de Google et de Google Earth maps pour atténuer cette contrainte.
  • Temps nécessaire en agriculture pour générer des gains de productivité.
  • Capacités d'adoption des communautés locales.
  • Stratification sociale des communautés rurales.

Certains de ces défis s’appliquent également à d’autres secteurs du travail. Cependant, comme l’a noté un participant, l’évaluation des résultats dans les domaines de l’agriculture, du développement rural et de la sécurité alimentaire est complexe en soi, car ils sont influencés par une multitude de systèmes et de facteurs biophysiques, économiques et sociaux.   

Les discussions ont également évoqué d'autres défis applicables à tous les secteurs:

  • Temps et budget limités pour le suivi et l'évaluation, qui portent préjudice pour une bonne réalisation et utilisation des résultats d'évaluation pour améliorer les interventions.
  • Mauvaise conception des projets et de leurs cadres de résultats et indicateurs, ce qui compromet l’évaluabilité des projets / programmes.
  • Déconnexion entre suivi et évaluation, les deux devant être considérés comme les deux piliers d’un système à partir duquel les actions de développement peuvent tirer profit.
  • Absence de culture d'évaluation et d'environnement favorable à l'évaluation: plusieurs participants ont souligné qu'il existait souvent une confusion entre évaluation, inspection, audit et enquête, ce qui tend à placer de nombreuses évaluations sur un mode défensif, au lieu de comprendre les avantages potentiels de l'évaluation pour elles. La tendance de certains managers à s’identifier au programme qu’ils gèrent aggrave ce dernier effet et les conduit à se sentir personnellement menacés dans leur crédibilité professionnelle.
  • D'autres types de confusion ont été mis en évidence, entre les évaluations et d'autres types d'études telles que les auto-évaluations, les analyses socio-économiques, les études de base, etc.
  • Les commissaires d'évaluation qui ne clarifient pas le processus d'évaluation et les approches méthodologiques dès le départ, via des termes de référence clairs, suscitent des attentes irréalistes à l'égard des évaluations.
  • Certains ont mentionné les risques liés à l’autocensure des évaluateurs, face à des contextes politiques difficiles ou face à des interférences ou des pressions.

Ces défis plus généraux appellent les évaluateurs à adopter une bonne combinaison de compétences générales, telles que la communication, la négociation, la gestion des personnes et la créativité.

Enfin, les participants ont formulé quelques suggestions pour aller de l’avant:

  • Les réseaux d'évaluation devraient s'accorder sur un ensemble de recommandations claires pour renforcer la culture de l'évaluation et une compréhension commune du suivi et de l'évaluation, tant du côté de l'offre que de la demande.
  • Le plaidoyer en faveur de l'établissement de liens clairs entre les fonctions de suivi et d'évaluation devrait se poursuivre à tous les niveaux.
  • Il est important de soutenir le développement d'une culture de l'évaluation par une sensibilisation, y compris par les évaluateurs eux-mêmes dès le début du travail d'évaluation, et par la promotion d'un environnement favorable à l'évaluation.

Très certainement, la question des défis et des solutions pour les résoudre continuera à alimenter les discussions au sein de la communauté de pratique EVAL-ForwARD. Nous continuerons à faciliter le partage des expériences et des opinions des praticiens afin de faire progresser la culture et les connaissances en matière d'évaluation.

Ce sujet a été initié par Hynda Krachni et des contributions ont été reçues par Serdar Bayryyev, Georgette Konate Traorè, Raymond Erik Zvavanyange, Isha Miranda, Mustapha Malki, Naser Qadous et Raoudha Jaouani.