Renata [user:field_middlename] Mirulla

Renata Mirulla

Facilitator of Evalforward
Italie

I facilitate the EvalForward Community of Practice by supporting knowledge sharing and information exchange among members, summarizing topics discussed and highlighting good practices in evaluation, ensuring updates on events, resources, guidelines that are relevant to evaluation in agriculture, food security and rural development.

 

 

My contributions

  • Le lieu

    Depuis 2009, le Bureau indépendant d'évaluation du Programme de développement des Nations Unies organise la Conférence biennale sur les capacités nationales d'évaluation (NEC) à laquelle participent des membres influents des gouvernements, de la société civile et du monde universitaire de plus de 180 pays, des représentants de nombreux organismes des Nations Unies ainsi que des partenaires bilatéraux et multilatéraux. La septième Conférence NEC s'est tenue auprès du Centre de formation international de l'Organisation internationale du travail (ITC-ILO) à Turin (Italie) du 25 au 28 octobre 2022. Suite aux bouleversements et aux fragilités socio-économiques provoqués par la pandémie mondiale

  • Le vieux refrain selon lequel il n'y aurait pas suffisamment d'évaluateurs compétents en Afrique a dépassé sa date péremption. Conscient de la nécessité d'offrir des solutions, le Centre d'apprentissage pour l'évaluation et les résultats – Afrique anglophone (CLEAR-AA), l'Association pour le suivi et l'évaluation d'Afrique du Sud (SAMEA) et le Programme alimentaire mondial (PAM) ont récemment uni leurs forces pour élaborer un programme sur mesure pour les nouveaux évaluateurs.

    Ce programme d'immersion professionnelle a été lancé en juin 2021 lors de la semaine de l'évaluation gLOCALe, intégrant six nouveaux évaluateurs pour une période de 12 mois. Le programme les

  • Mesurer sans comprendre c'est "mettre la charrue avant les bœufs". Si nous mesurons quelque chose qui n'est pas clair ou s'appuie sur une hypothèse erronée, nous risquons de nous retrouver avec des données non pertinentes ou des conclusions fausses. Il est donc fondamental que nous comprenions avant de décider ce qu'il faut mesurer, voire s'il faut mesurer ou pas. Voici le principal message de Silva Ferretti, la consultante indépendante en évaluation qui a ouvert la troisième Discussion d'Evalforward, en remarquant avec finesse que ceci n'était pas toujours le cas mais devrait être une pratique courante en évaluation.

    Cette session des

    • Chère Judith et tous,

      Le thème de comment faire avancer l'évaluation dans l'agriculture est l’une des idées qui ont amené au lancement de cette Communauté!

      En 2019, la FAO et EvalForward ont étudié les capacités d'évaluation dans les ministères de l'agriculture, et nous avons interviewé des responsables de S&E en 23 pays. L'étude a révélé une situation très disparate selon les pays, dont certains ont des capacités encore très limitées en matière d'évaluation, de S&E ou même de gestion axée sur les résultats (rapport principal en anglais et note d'information). Le Rwanda ne faisait pas partie de notre échantillon, mais il semble disposer de systèmes de S&E et de mesures de performance bien établis (comme l'imigo annuel mentionné par Olivier).

      Comme on le sait, un système d'évaluation peut être utile pour apporter la profondeur de l'analyse aux données et au S&E et aider à identifier les points faibles ; une structure institutionnelle fournirait le cadre pour la réalisation d'évaluations stratégiques et soutiendrait la demande de preuves et la volonté et la capacité de les utiliser par les décideurs politiques.

      Sur la base de l'expérience des pays qui ont réussi à développer un système d'évaluation, certains points d'entrée pour démarrer le processus peuvent être :    

      - Trouver des dirigeants influents qui soutiennent l'évaluation et qui pourraient promouvoir une fonction d’évaluation efficace au niveau national et sectoriel influencer l'évolution vers une fonction d'évaluation efficace au niveau national et sectoriel.

      - Mener une évaluation pilote avec la participation d'agents publics afin de prouver la valeur d'un tel exercice, notamment en testant des évaluations rapides qui pourraient donner un retour d'information dans un délai raisonnable sur des questions politiques urgentes.

      - Établir des liens avec les pays qui ont mis en place des systèmes d'évaluation et entamer des collaborations avec des initiatives telles que Twende Mbele qui visent à soutenir ces processus. 

      - Faire pression pour l’évaluation sur les principales parties prenantes, telles que les organisations de producteurs, les VOPE, les universités et les ONG.

      Dans de nombreux pays, les réductions budgétaires dans le secteur de l'agriculture ont entraîné une diminution des investissements dans les ressources humaines et le développement des compétences, ce qui nuit aux fonctions de suivi et d'évaluation et aux tentatives de développement des capacités d'évaluation dans le secteur. Il est bon de voir que ce n'est pas le cas du Rwanda. La centralité de l'agriculture dans l'économie devrait être mise à profit pour faire avancer l'ensemble des outils permettant d'améliorer la production et l'utilisation de données probantes dans le secteur.

      Nous attendons les points de vue des autres membres !

      Renata

    • Chers tous, 

      En guise de conclusion à cette discussion, vous trouverez ci-dessous un guide et une boîte à outils pour les évaluations rapides développés par le Département de la planification, du suivi et de l'évaluation d'Afrique du Sud, qui a commencé à utiliser les évaluations rapides comme l'une des formes d'évaluation. Nous remercions Antonio Hercules d'avoir partagé ces ressources avec EvalForward:   

      L'intérêt pour les évaluations rapides et les évaluations en temps réel augmente et, au cours des prochains mois, nous continuerons à partager nos expériences sur la manière de surmonter les difficultés rencontrées et de garantir la qualité et l'utilité de ces évaluations. 

      Cordialement, 

      Renata 

       

    • Chers tous,

      Vous trouverez ci-dessous les points forts de cet échange fructueux. Un merci particulier à Paul pour avoir soulevé le sujet et aux membres qui ont partagé leurs connaissances! 

      La Gestion des connaissances (GC) et le suivi et évaluation (S&E) ont des objectifs complémentaires et devraient travailler en synergie

      • Il existe des synergies évidentes entre le S&E et la GC : tous deux contribuent à l'apprentissage organisationnel et à une programmation efficace conçue pour générer des bénéfices pour les personnes et les communautés.
      • Cependant dans la pratique, l'identification des liens et des complémentarités peut être plus difficile.  Le S&E et la GC requièrent des rôles et des compétences différentes et sont souvent gérés par des unités distinctes qui, à leur tour, suivent des pratiques et des cycles organisationnels différents.

      Les programmes et les projets s'orientent vers une meilleure intégration de ces fonctions  

      • Dans le cadre de l'Initiative du milieu manquant du Programme mondial pour l'agriculture et la sécurité alimentaire, Sénégal, les unités de S&E et de GC travaillent conjointement sur le traitement des données, la capitalisation et les ateliers sur les enseignements tirés. Les activités de gestion des connaissances impliquent des membres de l'unité de coordination afin de s'assurer que l'apprentissage des leçons et la capitalisation des connaissances constituent la base des décisions de suivi.
      • Le projet Nema Chosso (Développement de la gestion nationale des terres agricoles et de l’eau) en Gambie avait le S&E et le GC travaillant sous des unités séparées et a fait face à des défis lorsqu'il a dû documenter et capitaliser les succès et les leçons apprises, les utiliser pour développer des produits de connaissance autour des interventions de résilience climatique, et assurer la publication dans la presse locale et les médias sociaux. En réponse, le projet de suivi fusionnera les deux unités en une seule et inclut un partenaire spécialisé pour soutenir les communications.
      • Les projets de développement rural et de petits exploitants menés par le FIDA en Afrique orientale et australe ont intégré des plateformes de S&E en ligne pour soutenir la collecte de données utilisées par la fonction de GC afin de générer des histoires du terrain et un apprentissage systématique. Cette approche a été mise en avant au moment où il a été demandé aux projets de démontrer leur impact politique et leur contribution aux objectifs du pays.
      • Un précédent projet de GC développé au PAM comprenait une méthodologie d'examen après action pour faciliter l'apprentissage pour les opérations sur le terrain, qui a bénéficié d'apports basés sur l'évaluation. La méthodologie a été testée sur le terrain et a été affinée en collaboration avec des experts de leur Bureau de l'évaluation.

      Défis, risques et éléments à prendre en compte

      • Des défis et des tensions peuvent apparaître lorsque la GC et le S&E travaillent ensemble mais ont des approches différentes de la communication. Il peut arriver que la gestion des connaissances, par exemple, peut communique pas pleinement tous les éléments de S&E. À l'inverse, le programme et l'équipe de S&E peuvent s'attendre à une cohérence et une continuité de la communication pour augmenter la puissance des messages et pour maintenir la dynamique de l'adoption au niveau du programme, la gestion des connaissances percevant cette attente comme excessive.
      • Il peut y avoir des cas où le S&E et la GC sont biaisés vers un "rapport d'apaisement" aux donateurs, montrant les résultats sous un jour positif afin de promouvoir le financement et négligeant l'impact réel sur les bénéficiaires. Cela peut se produire en l'absence de considérations éthiques et de responsabilité sociale.
      • Il y a encore peu de preuves, voire aucune, sur la façon dont les initiatives et les leçons du projet alimentent la politique, malgré la participation des décideurs politiques.

      Intégration au niveau de l'organisation : l’exemple du FIDA

      • Le Bureau indépendant d'évaluation du FIDA a reconnu la relation naturelle entre l'évaluation et la communication et la GC. Le rôle de la GC est de favoriser le développement de "boucles de rétroaction de l'évaluation vers les décideurs politiques, le personnel opérationnel et le grand public" par la production et la diffusion de produits de communication et la facilitation d'événements d'apprentissage. Ceux-ci devraient contribuer à garantir que les informations contenues dans les rapports d'évaluation sont largement diffusées, déclenchant ainsi un apprentissage et une rétroaction supplémentaires.

      Quelle est la voie à suivre ?

      • Pour que ces deux fonctions se complètent, elles doivent être planifiées et synchronisées, de préférence au stade de la conception du projet, avec des lignes de communication claires.
      • Des mesures en ce sens pourraient être prises : 1) discuter avec la direction du programme et les bénéficiaires de ce qu'ils ont besoin/attendent des produits de S&E et de GC ; 2) convenir d'un plan commun d'activités de S&E et de GC, en se concentrant sur les complémentarités et le séquençage ; 3) élaborer un plan pour une utilisation et une diffusion efficaces des produits de S&E et de GC.

       

  • What about evaluation? Is it truly reaping the benefits of ICTs or merely looking at potential applications with caution? Should evaluators embrace the ICT revolution or shy away from engaging more closely? What about big data, their challenges and risks?

    Information and Communication Technologies for Development Evaluation, a recently-released book edited by Oscar Garcia and Prashanth Kotturi,  sheds light onto the relationship between ICTs and evaluation, discussing ways of harnessing the rapid evolution of technologies and the internet for development evaluation work, and includes examples of frontrunner applications.

    ICTs can certainly go a long way to improving the efficiency

  • Over 500 participants from 100 countries joined this 6th NEC Conference to exchange and learn how to advance national evaluation agendas and to discuss the use of evaluation to accelerate the implementation of the SDGs.

    Leaving no one behind amid the rise in inequalities in society is a mounting concern in both the developed and developing world. Captured in Sustainable Development Goal 10, addressing inequalities needs to go beyond looking at the increasing gaps between higher and lower levels of income and wealth. Inequalities, in fact, touch on a multidimensional set of social, cultural, geographical, ethnic and other drivers that

  • Its 650 registered participants from over 60 countries showed the vitality of the African evaluation community and the attention that evaluation attracts among national and international institutions. This success is certainly a result of 20 years of active engagement of the African Evaluation Association.

    The conference theme: “Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems” stimulated debate on ways to develop and affirm Africa’s body of knowledge related to evaluation, on how to promote Africa-rooted and Africa-led evaluation through sharing African evaluation perspectives and to gain recognition of the role of Africa in the evaluation “ecosystem”.  The African evaluation

  • The aim of this EvalMENA pre-conference workshop was to take participants through a journey of reflection and deep thinking around the fundamentals of evaluation.

    This particular type of reflection is something that evaluation practitioners should regularly set aside time to do, as it is difficult to think deeply when fully involved in day-to-day work. As our practice develops, we should then take time to re-focus on particular aspects of evaluation and its distinctive features, in order to continuously nurture our evaluation knowledge and practice.

    Evaluation is confronted with a set of other practices (such as performance audits, evaluative research, etc.)

  • There were among some 200 evaluation experts, researchers and representatives from governments, international cooperation agencies and NGOs who gathered in Rabat for the 7th Conference and General Assembly of the Middle East and North Africa Evaluation Network (EvalMENA), which was held from 27 to 30 November 2018.

    The meeting was hosted by the Moroccan Evaluation Association and focused on the theme “National Evaluation Policies in the MENA Region: Institutional Measures and Regional Evaluation Processes".

    In the MENA region, there has been a growing recognition of the importance of evaluation of government policies and programs over the last years, with Morocco being

  • The African Evaluation Association’s 9th International Conference will be held in Abidjan, Cote D’Ivoire from 11 to 15 March 2019. The Conference theme is Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems. It aims at expanding the “Made in Africa” evaluation approaches, supporting knowledge sharing, capacity development and networking opportunities among a wide range of organisations and individuals working on evaluation.

    EVAL-ForwARD will actively promote and support one of 12 work strands of the Conference, titled “Improving Agriculture and Food Security through Evaluation”.  

    Those interested in contributing to the conference may propose: papers, roundtables, posters, exhibitions and workshops

  • More than 200 evaluation experts, development partners and parliamentarians representing 70 countries from around the world convened at the EvalColombo 2018 forum in Sri Lanka, from 17 to 19 September, to discuss the benefits and challenges of using evaluation evidence in government policymaking.

    EvalColombo was jointly organized by the Global Parliamentarians Forum for Evaluation (GPFE), EvalPartners and the Sri Lanka Evaluation Association. The conference focused on the role played by parliamentarians in promoting the use of evaluation and in driving the Sustainable Development Goals (SDGs) agenda. The discussions brought up many issues to address if we wish to

  • Gender and evaluation of food security

    Discussion
    • Dear all, 

      here is a summary of the discussion and main issues raised by participants. 

      • Gender should be addressed at the time of formulation of the development action and design of its results framework, including the choice of indicators and data collection methods.
      • If gender was not included in the programme design and baselines are not available, it will be more difficult, though still possible, for the evaluation to address it and for baselines to be replaced by historical analyses;
      • The type of evaluation (process, impact or outcome evaluation) and the target audience will influence the way the evaluation considers gender aspects.
      • Given the complexity and multisectoral nature of gender, evaluations of gender should include social analysis, which is necessary to understand social systems and the constraints that perpetrate the women’s condition in the context of food security. 
      • To evaluate gender equality and empowerment of women, gender-responsive methodologies, methods, tools, and data analysis techniques should be selected (see references below).
      • It is important to consider possible trade-offs related to gender: an example from a project that aimed to support women by assigning them livestock with higher productivity but did not consider additional workload and the missing links to market opportunities that could allow to translate the higher production into income.
      • Examples of gender-responsive indicators were referenced and on how to make indicators gender sensitive.
      • Women, along with other stakeholders, should participate in co-producing the evaluation framework and take part in evaluations themselves, in a participatory approach. The evaluator / evaluation team should play the role of a facilitator and recognize the experiential knowledge of stakeholders.
      • Gender evaluations in Africa, as in other regions, must consider that unfortunately the level of understanding of the gender approach still varies a lot, which does not facilitate its application.
      • Some country initiatives:
        • Benin: a study on the sensitivity of the national system of monitoring and evaluation in relation to gender allowed to identify national indicators by sector to evaluate the gender aspect and to incorporate norms and standards to take gender into account in all evaluations.
        • Burundi: the Ministry of Local Government is looking at how to integrate gender in the five-year development planning process of municipalities, defining the basic "gender" indicators that will be monitored and evaluated during the life of this plan.
        • Costa Rica: The Ministry of Planning worked with UN Women on a guide on how to evaluate gender and human rights to complement the evaluations carried out within the National Planning System of Costa Rica.

      References and links shared by participants / Références et liens partagés par les participants / Referencias y enlaces compartidos por los participantes 

      Other references / Autres références (en anglais) /Otras referencias (en inglés)

       

    • Dear members,

      Thanks to Georgette Konate Traoré from Burkina Faso for raising these concerns on evaluation of gender with the EVAL-ForwARD community. Please feel free to share your view on any of the issues she raises by replying to this email.

      I take the opportunity to invite you all to use this space in the weeks to come to:

      • Start discussions: post queries on topics of your interest inviting members to respond and to share their experiences and views.
      • Post information on and links to publications, events, calls and other activities of interest to other members.

      Discussions, resources and information shared will start forming the knowledge base of the EVAL-ForwARD community. Please contact me for practical support or any further information at Renata.mirulla@fao.org

      Related to quantitative and qualitative indicators to evaluate gender (question 3 below), FAO is adopting the pro-WEAI index, which helps assess women’s empowerment within agricultural developmental projects using 12 indicators. Here is a link to the WEAI webpage weai.ifpri.info  and to a recent presentation in FAO www.fao.org/webcast/home/en/item/4695/icode