Renata [user:field_middlename] Mirulla

Renata Mirulla

Facilitator of Evalforward
Italia

I facilitate the EvalForward Community of Practice by supporting knowledge sharing and information exchange among members, summarizing topics discussed and highlighting good practices in evaluation, ensuring updates on events, resources, guidelines that are relevant to evaluation in agriculture, food security and rural development.

 

 

My contributions

  • Lugar de celebración

    Desde 2009, la Oficina de Evaluación Independiente del Programa de las Naciones Unidas para el Desarrollo (PNUD) organiza la Conferencia sobre capacidades nacionales de evaluación (NEC, por sus siglas en inglés). Cada dos años, este evento reúne a participantes influyentes de Gobiernos, sociedad civil y mundo académico de más de 180 países; representantes de numerosos organismos de las Naciones Unidas; así como asociados bilaterales y multilaterales. La séptima Conferencia NEC tuvo lugar en el Centro Internacional de Formación de la Organización Internacional del Trabajo (CIF-OIT) en Turín, Italia, del 25 al 28 de octubre de 2022. Tras

  • La vieja creencia de que no hay suficientes evaluadores capacitados en África no se ajusta a la realidad. Conscientes de la necesidad de ofrecer soluciones, los Centros para el Aprendizaje en Evaluación y Resultados - África anglófona (CLEAR-AA, por sus siglas en inglés), la Asociación Sudafricana de Seguimiento y Evaluación (SAMEA, por sus siglas en inglés) y el Programa Mundial de Alimentos (PMA) en Sudáfrica colaboraron recientemente para elaborar un programa adaptado de evaluadores emergentes.

    Centrado en la inmersión en el mundo laboral, la iniciativa se puso en marcha en junio de 2021, durante la Semana de la Evaluación gLOCAL

  • Como dice un popular refrán, medir aquello que no entendemos es “poner el carro delante de los bueyes”. Si medimos algo que no está claro o que se basa en suposiciones erróneas, es probable que acabemos obteniendo datos irrelevantes o llegando a conclusiones engañosas. Por tanto, antes de decidir qué medir —o incluso de dirimir si es preciso hacerlo— es fundamental entender qué tenemos entre manos. Éste fue el mensaje principal de Silva Ferretti, consultora de evaluación independiente que abrió la tercera sesión de EvalForward Talks, y que señaló —sagazmente— que no siempre se procede de esta manera y que

    • Estimada Judith y todos,

      El tema de cómo avanzar en la evaluación en la agricultura es el de las ideas que trajeron al desarrollo de esta CoP!

      En 2019, la FAO y EvalForward estudiaron las capacidades de evaluación de los ministerios de agricultura, y entrevistamos a funcionarios de los ministerios de agricultura de 23 países. El estudio puso de manifiesto una situación muy dispar según los países, incluidos algunos con capacidades aún muy limitadas en relación con la evaluación, el seguimiento y la evaluación o la gestión basada en los resultados (ver el informe principal en inglès y la nota informativa). Rwanda no figuraba en nuestra muestra, pero parece tener sistemas de seguimiento y evaluación y mediciones del rendimiento bien establecidos (como el imigo anual mencionado por Olivier).

      Como es sabido, la evaluación puede ser útil para aportar la profundidad del análisis a los datos y al sistema de seguimiento y evaluación, que por lo demás son sólidos, y ayudar a identificar los puntos débiles, y un establecimiento institucional proporcionaría el marco para llevar a cabo evaluaciones estratégicas y apoyaría la demanda de pruebas y la voluntad y capacidad de utilizarlas.

      Sobre la base de la experiencia de los países que han logrado desarrollar un sistema de evaluación, algunos puntos de entrada para iniciar el proceso pueden ser:  

      - Encontrar dirigentes influyentes que defiendan la evaluación y que puedan influir en el avance hacia una función de evaluación eficaz a nivel nacional y sectorial.

      - Realizar una evaluación piloto con la participación de funcionarios públicos como una oportunidad para demostrar el valor de ese ejercicio, incluida la prueba de evaluaciones rápidas que podrían aportar información en un plazo razonable sobre cuestiones de política apremiantes.

      - La conexión con los países que han establecido sistemas de evaluación e iniciado colaboraciones con iniciativas como Twende Mbele que tienen por objeto apoyar esos procesos. 

      - Ejercer presión por la evaluación a través de los principales interesados, como las organizaciones de productores, los VOPE, el mundo académico y las ONG.

      En muchos países, los recortes presupuestarios en el sector agrícola han dado lugar a una reducción de las inversiones en recursos humanos y en el desarrollo de aptitudes, lo que ha socavado las funciones de seguimiento y evaluación y los intentos de desarrollar la capacidad de evaluación en el sector. Es bueno ver que no es el caso de Rwanda. La centralidad de la agricultura en la economía debe aprovecharse para que se avance en el conjunto de instrumentos para mejorar la generación y el uso de pruebas en el sector.

      ¡Esperamos las opiniones de los demás miembros!

      Renata

    • Estimados todos, 

      Como nota final de este debate, a continuación se ofrece una orientación y un conjunto de instrumentos para las evaluaciones rápidas elaborados por el Departamento de Planificación, Supervisión y Evaluación de Sudáfrica, que ha comenzado a utilizar las evaluaciones rápidas como una de las formas de evaluación, y agradece a Antonio Hércules que haya compartido estos recursos con EvalForward.  

      El interés por evaluaciones rápidas y evaluaciones en tiempo real está aumentando y en los próximos meses seguiremos compartiendo experiencias sobre cómo superar los retos planteados y garantizar la calidad y la utilidad de esas evaluaciones. 

      Saludos cordiales

      Renata 

       

       

    • Estimados todos,

      A continuación, se presentan los aspectos más destacados de este fructífero intercambio. Un agradecimiento especial a Paul por mencionar el tema y a los miembros que compartieron sus conocimientos. 

      La gestión del conocimiento (GC) y el seguimiento y evaluación (SyE) tienen objetivos complementarios y deben trabajar en sinergia

      • Hay sinergias evidentes entre el SyE y la GC: ambos contribuyen al aprendizaje organizativo y a una programación efectiva diseñada para generar beneficios para las personas y las comunidades.
      • En la práctica, la identificación de vínculos y complementariedades puede ser más difícil.  El SyE evaluación y la GC requieren diferentes funciones y aptitudes, y a menudo son gestionados por unidades separadas que, a su vez, siguen prácticas y ciclos organizativos diferentes.

      Los programas y proyectos están avanzando hacia una mejor integración de esas funciones  

      • En la Iniciativa del Programa Global de Agricultura y Seguridad Alimentaria ‘Missing Middle’, Senegal, las funciones de SyE y de GC trabajan conjuntamente en el tratamiento de datos, la capitalización y los cursos prácticos sobre las lecciones aprendidas. Las actividades de gestión de los conocimientos involucran a miembros de la Unidad de Coordinación para garantizar que el aprendizaje de las lecciones y la capitalización de los conocimientos formen la base de las decisiones de seguimiento.
      • El Proyecto Nema Chosso (Desarrollo de la ordenación nacional de tierras agrícolas y recursos hídricos) en Gambia tenía al SyE y a la GC trabajando en separadas y se enfrentó desafíos cuando tuvo que documentar y capitalizar los éxitos y las lecciones aprendidas, utilizarlos para elaborar productos de conocimientos en torno a las intervenciones de resiliencia climática y asegurar la publicación en la prensa y los medios de comunicación social locales. En respuesta a ello, el proyecto de seguimiento está fusionando las dos dependencias en una sola e incluye un asociado especializado para apoyar las comunicaciones.
      • Los proyectos de desarrollo rural y de pequeños agricultores dirigidos por el FIDA en el África oriental y meridional han integrado plataformas de SyE en línea para apoyar la recopilación de datos que utiliza la función de GC para generar historias desde el terreno y aprendizaje sistemático. Este enfoque se impulsó en el momento en que se pidió a los proyectos que demostraran su impacto en las políticas y su contribución a los objetivos de los países.
      • Un proyecto anterior de GC desarrollado en el PMA incluía una metodología de revisión posterior a la acción para facilitar el aprendizaje en las operaciones sobre el terreno, que se beneficiaban de las aportaciones basadas en la evaluación. Se probó y perfecciono sobre el terreno colaboración con expertos de su Oficina de Evaluación.

      Desafíos, riesgos y elementos a tener en cuenta

      • Pueden surgir desafíos y tensiones cuando la GC y el SyE trabajan juntos, pero tienen diferentes enfoques de la comunicación. La gestión de los conocimientos, por ejemplo, podría no comunicar plenamente todas las pruebas de seguimiento y evaluación. Por el contrario, el equipo del programa y de SyE podría esperar coherencia y continuidad en la comunicación para aumentar el poder de los mensajes y mantener el impulso de la aceptación a nivel del programa, y la gestión de los conocimientos percibiría esta expectativa como algo indebido.
      • Puede haber casos en que el seguimiento y la evaluación y la gestión de los conocimientos estén sesgados hacia la "presentación de informes de apaciguamiento" a los donantes, mostrando los resultados bajo una luz positiva a fin de promover la financiación y haciendo caso omiso del impacto real en los beneficiarios. Esto puede ocurrir en ausencia de consideraciones éticas y de responsabilidad social.
      • Todavía hay pocas pruebas, si es que hay alguna, sobre la forma en que las iniciativas y las enseñanzas de los proyectos se incorporan a las políticas, a pesar de la participación de los encargados de la formulación de políticas.

      Integración a nivel de la organización: el ejemplo del FIDA

      • La Oficina de Evaluación Independiente del FIDA ha reconocido la relación natural entre la evaluación y la comunicación y la gestión de los conocimientos. La función de la gestión de los conocimientos consiste en fomentar el desarrollo de "circuitos de retroinformación de la evaluación a los encargados de la formulación de políticas, el personal operacional y el público en general" mediante la producción y difusión de productos de comunicación y la facilitación de actividades de aprendizaje. Estos deberían ayudar a asegurar que la información contenida en los informes de evaluación se difunda ampliamente, con lo que se fomenta el aprendizaje y la retroinformación ulteriores.

      El camino a seguir

      • Para garantizar que estas funciones se complementen entre sí, deben planificarse y sincronizarse, preferiblemente en la fase de diseño del proyecto con líneas de comunicación claras.
      • Los pasos en esta dirección podrían ser: 1) examinar con la dirección del programa y los beneficiarios lo que necesitan/esperan de los productos de SyE y de la gestión de los conocimientos; 2) acordar un plan conjunto de actividades de SyE y de gestión de los conocimientos, centrándose en las complementariedades y la secuenciación; 3) elaborar un plan para la utilización y difusión eficaces de los productos de SyE y de la gestión de los conocimientos.

       

  • What about evaluation? Is it truly reaping the benefits of ICTs or merely looking at potential applications with caution? Should evaluators embrace the ICT revolution or shy away from engaging more closely? What about big data, their challenges and risks?

    Information and Communication Technologies for Development Evaluation, a recently-released book edited by Oscar Garcia and Prashanth Kotturi,  sheds light onto the relationship between ICTs and evaluation, discussing ways of harnessing the rapid evolution of technologies and the internet for development evaluation work, and includes examples of frontrunner applications.

    ICTs can certainly go a long way to improving the efficiency

  • Over 500 participants from 100 countries joined this 6th NEC Conference to exchange and learn how to advance national evaluation agendas and to discuss the use of evaluation to accelerate the implementation of the SDGs.

    Leaving no one behind amid the rise in inequalities in society is a mounting concern in both the developed and developing world. Captured in Sustainable Development Goal 10, addressing inequalities needs to go beyond looking at the increasing gaps between higher and lower levels of income and wealth. Inequalities, in fact, touch on a multidimensional set of social, cultural, geographical, ethnic and other drivers that

  • Its 650 registered participants from over 60 countries showed the vitality of the African evaluation community and the attention that evaluation attracts among national and international institutions. This success is certainly a result of 20 years of active engagement of the African Evaluation Association.

    The conference theme: “Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems” stimulated debate on ways to develop and affirm Africa’s body of knowledge related to evaluation, on how to promote Africa-rooted and Africa-led evaluation through sharing African evaluation perspectives and to gain recognition of the role of Africa in the evaluation “ecosystem”.  The African evaluation

  • The aim of this EvalMENA pre-conference workshop was to take participants through a journey of reflection and deep thinking around the fundamentals of evaluation.

    This particular type of reflection is something that evaluation practitioners should regularly set aside time to do, as it is difficult to think deeply when fully involved in day-to-day work. As our practice develops, we should then take time to re-focus on particular aspects of evaluation and its distinctive features, in order to continuously nurture our evaluation knowledge and practice.

    Evaluation is confronted with a set of other practices (such as performance audits, evaluative research, etc.)

  • There were among some 200 evaluation experts, researchers and representatives from governments, international cooperation agencies and NGOs who gathered in Rabat for the 7th Conference and General Assembly of the Middle East and North Africa Evaluation Network (EvalMENA), which was held from 27 to 30 November 2018.

    The meeting was hosted by the Moroccan Evaluation Association and focused on the theme “National Evaluation Policies in the MENA Region: Institutional Measures and Regional Evaluation Processes".

    In the MENA region, there has been a growing recognition of the importance of evaluation of government policies and programs over the last years, with Morocco being

  • The African Evaluation Association’s 9th International Conference will be held in Abidjan, Cote D’Ivoire from 11 to 15 March 2019. The Conference theme is Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems. It aims at expanding the “Made in Africa” evaluation approaches, supporting knowledge sharing, capacity development and networking opportunities among a wide range of organisations and individuals working on evaluation.

    EVAL-ForwARD will actively promote and support one of 12 work strands of the Conference, titled “Improving Agriculture and Food Security through Evaluation”.  

    Those interested in contributing to the conference may propose: papers, roundtables, posters, exhibitions and workshops

  • EvalForward moving ahead at EvalColombo2018

    Blog

    More than 200 evaluation experts, development partners and parliamentarians representing 70 countries from around the world convened at the EvalColombo 2018 forum in Sri Lanka, from 17 to 19 September, to discuss the benefits and challenges of using evaluation evidence in government policymaking.

    EvalColombo was jointly organized by the Global Parliamentarians Forum for Evaluation (GPFE), EvalPartners and the Sri Lanka Evaluation Association. The conference focused on the role played by parliamentarians in promoting the use of evaluation and in driving the Sustainable Development Goals (SDGs) agenda. The discussions brought up many issues to address if we wish to

  • Gender and evaluation of food security

    Discussion
    • Dear all, 

      here is a summary of the discussion and main issues raised by participants. 

      • Gender should be addressed at the time of formulation of the development action and design of its results framework, including the choice of indicators and data collection methods.
      • If gender was not included in the programme design and baselines are not available, it will be more difficult, though still possible, for the evaluation to address it and for baselines to be replaced by historical analyses;
      • The type of evaluation (process, impact or outcome evaluation) and the target audience will influence the way the evaluation considers gender aspects.
      • Given the complexity and multisectoral nature of gender, evaluations of gender should include social analysis, which is necessary to understand social systems and the constraints that perpetrate the women’s condition in the context of food security. 
      • To evaluate gender equality and empowerment of women, gender-responsive methodologies, methods, tools, and data analysis techniques should be selected (see references below).
      • It is important to consider possible trade-offs related to gender: an example from a project that aimed to support women by assigning them livestock with higher productivity but did not consider additional workload and the missing links to market opportunities that could allow to translate the higher production into income.
      • Examples of gender-responsive indicators were referenced and on how to make indicators gender sensitive.
      • Women, along with other stakeholders, should participate in co-producing the evaluation framework and take part in evaluations themselves, in a participatory approach. The evaluator / evaluation team should play the role of a facilitator and recognize the experiential knowledge of stakeholders.
      • Gender evaluations in Africa, as in other regions, must consider that unfortunately the level of understanding of the gender approach still varies a lot, which does not facilitate its application.
      • Some country initiatives:
        • Benin: a study on the sensitivity of the national system of monitoring and evaluation in relation to gender allowed to identify national indicators by sector to evaluate the gender aspect and to incorporate norms and standards to take gender into account in all evaluations.
        • Burundi: the Ministry of Local Government is looking at how to integrate gender in the five-year development planning process of municipalities, defining the basic "gender" indicators that will be monitored and evaluated during the life of this plan.
        • Costa Rica: The Ministry of Planning worked with UN Women on a guide on how to evaluate gender and human rights to complement the evaluations carried out within the National Planning System of Costa Rica.

      References and links shared by participants / Références et liens partagés par les participants / Referencias y enlaces compartidos por los participantes 

      Other references / Autres références (en anglais) /Otras referencias (en inglés)

       

    • Dear members,

      Thanks to Georgette Konate Traoré from Burkina Faso for raising these concerns on evaluation of gender with the EVAL-ForwARD community. Please feel free to share your view on any of the issues she raises by replying to this email.

      I take the opportunity to invite you all to use this space in the weeks to come to:

      • Start discussions: post queries on topics of your interest inviting members to respond and to share their experiences and views.
      • Post information on and links to publications, events, calls and other activities of interest to other members.

      Discussions, resources and information shared will start forming the knowledge base of the EVAL-ForwARD community. Please contact me for practical support or any further information at Renata.mirulla@fao.org

      Related to quantitative and qualitative indicators to evaluate gender (question 3 below), FAO is adopting the pro-WEAI index, which helps assess women’s empowerment within agricultural developmental projects using 12 indicators. Here is a link to the WEAI webpage weai.ifpri.info  and to a recent presentation in FAO www.fao.org/webcast/home/en/item/4695/icode