Aurelie [user:field_middlename] Larmoyer

Aurelie Larmoyer

Senior Evaluation officer
WFP
Italia

Senior Evaluation Specialist in the UN system (FAO, IAEA, WFP)
Food security analysis and Humanitarian assistance programmes management in the field with international NGOs (1999- 2003)

My contributions

  • Using Artificial Intelligence to search for evidence in evaluations: the WFP experience

    Blog

    Entre otras cosas, esta iniciativa pretende fomentar la capacidad para extraer evidencias de su cartera de evaluaciones de forma más eficiente y eficaz. Como no podía ser de otra forma, para automatizar la extracción de texto se han explorado opciones basadas en la inteligencia artificial (IA).

    En vista del gran interés que suscita la IA, me gustaría compartir información sobre lo pretendemos hacer, así como algunas reflexiones basadas en la experiencia que hemos acumulado hasta la fecha con nuestro proyecto de IA.

    ¿Por qué interesa la IA?

    La toma de decisiones basada en evidencias es fundamental para muchas organizaciones multilaterales

    Escrito por

  • Artificial intelligence in the context of evaluation

    Discussion

    • Aurelie Larmoyer

      Senior Evaluation officer WFP
      Italia

      Estimada Muriel,

      Estoy de acuerdo en que la inteligencia artificial (IA) tiene un gran potencial y plantea muchas preguntas para la evaluación.

      En la Oficina de Evaluación del Programa Mundial de Alimentos (PMA) hemos procurado mejorar nuestra capacidad para obtener más evidencias y satisfacer así las necesidades de nuestros colegas. Los avances recientes en el campo de la IA nos ofrecen la oportunidad de cumplir este propósito. A continuación me complace compartir algunas experiencias y reflexiones sobre la labor que hemos realizado en este ámbito.

      En primer lugar, hemos asumido que nuestra capacidad para aprovechar los conocimientos adquiridos en nuestras evaluaciones es limitada y no permite satisfacer todas las necesidades de aprendizaje de nuestros colegas. En gran medida, esto se debe a la gran cantidad de tiempo y esfuerzo que necesitamos para obtener y sintetizar evidencias sobre un determinado tema de interés.

      De ahí que estemos trabajando en desarrollar una solución basada en la IA para automatizar la búsqueda de evidencias con herramientas de procesamiento del lenguaje natural. De forma similar a lo que hacemos cuando utilizamos un buscador en Internet, pretendemos formular consultas en lenguaje natural para encontrar evidencias relevantes. Aprovechando los avances tecnológicos más recientes en el campo de la IA generativa —como ChatGPT— la solución también podría crear contenido (p. ej. resúmenes) basado en la información obtenida.

      Asimismo y, a fin de contribuir al análisis y la presentación de informes, esperamos que este proceso automático para obtener información pueda etiquetar documentos por sí mismo de forma más sistemática. También confiamos en que la IA nos permitirá sugerir contenido relevante para los usuarios sobre la base de su actividad, intereses y ubicación, al igual que hacen Spotify o Netflix.

      Estamos intentando desarrollar una solución que ofrezca resultados precisos de búsqueda y pueda replicarse posteriormente para satisfacer necesidades similares.

      Más allá de estos usos que estamos explorando específicamente en la Oficina de Evaluación del PMA, creo que la IA puede tener otros beneficios para la evaluación:

      • Automatizar procesos rutinarios en las evaluaciones, como la síntesis de evidencias para generar resúmenes breves que pueden ser utilizados como datos secundarios.
      • Mejorar el acceso a conocimientos u orientación y facilitar la recopilación de evidencias para la presentación de informes (p. ej. para informes anuales).
      • Facilitar la elaboración de resúmenes y la identificación de patrones a partir de ejercicios de evaluación o examen.
      • Mejorar la edición con herramientas automatizadas de revisión de textos que ayuden a pulir el lenguaje.

      Espero que esta información sea útil. Estoy deseando conocer las experiencias de otros miembros. Todos estamos aprendiendo sobre la marcha y parece evidente que la IA —repleta de esperanzas y riesgos— nos hará salir de nuestra zona de confort.

      Un cordial saludo,

      Aurelie

       

  • Disability inclusion in evaluation

    Discussion

    • Aurelie Larmoyer

      Senior Evaluation officer WFP
      Italia

      Estimada Judith,

      Gracias por abordar este importante tema.
      Sólo quería compartir algunos recursos que te pueden resultar interesantes para abordar algunas de las cuestiones que planteas, que todos tratamos de abordar lo mejor que podemos en estos días. Esta es una grabación de una sesión de intercambio que la Oficina de Evaluación del PMA organizó el pasado mes de mayo, para debatir estrategias prácticas para abordar algunos de los retos que planteas, relacionados con hacer evaluaciones inclusivas (la grabación está en inglés).

      Sway (office.com)

      Espero que aporte ideas útiles.
      Saludos,
      Aurelie

  • Evaluation questions the value of aid interventions. We need to keep warranting the value of evaluation.

    Blog

    La pandemia de la enfermedad por coronavirus (COVID-19) ha expuesto y/o agravado cualquier problema preexistente en todo el mundo. También para los evaluadores, ya que desde marzo de 2020 nos planteamos preguntas adicionales sobre cómo garantizar que las evaluaciones sean útiles para sus destinatarios. Impulsadas por la necesidad de seguir contribuyendo al aprendizaje y la rendición de cuentas, las evaluaciones han adoptado también nuevas formas de trabajo, y se han convertido —en gran medida— en una práctica virtual. ¿Sabemos cómo ha afectado esto a la utilidad de nuestro trabajo?  Si bien reconocemos las nuevas limitaciones como consecuencia de la pandemia

    Escrito por

  • Évaluation rapide pour mesurer l'impact de la pandémie COVID dans les zones montagneuses

    Discussion

    • Aurelie Larmoyer

      Senior Evaluation officer WFP
      Italia

      Estimada Malika,

      Gracias por plantear una pregunta tan importante. La encuentro interesante en dos aspectos:

      En primer lugar, porque plantea la cuestíon de cómo podemos capturar los efectos inmediatos (o a medio plazo) de la situación del COVID-19 en nuestras realidades. Muchos evaluadores están lidiando con esta pregunta. Algunos colegas del sistema de las Naciones Unidas han trabajado para trazar algunas orientaciones generales a este respecto. Por ejemplo, la publicación reciente de la Oficina de Evaluación de la OIT (https://www.ilo.org/wcmsp5/groups/public/---ed_mas/---eval/documents/pu…) podría servir de inspiración, ya que enumera, en el anexo, preguntas típicas de evaluación que coinciden con la necesidad de recopilar información específica relevante para el COVID-19.

      También me parece interesante su pregunta porque se refiere a cómo hacer evaluaciones rápidas, a las que también teníamos muchas razones para aspirar incluso antes de la pandemia, y sobre las que, por lo tanto, hay experiencias pasadas sobre las que basarnos. Y, si nuestra colega Jennifer tiene razón al subrayar que la evaluación no se presta fácilmente a una reacción rápida, creo que hay formas de acelerar los procesos para satisfacer la importancia de la puntualidad. Puedo compartir los siguientes puntos de aprendizaje con respecto a lo que funcionó cuando apunté a realizar evaluaciones rápidamente. En primer lugar, la focalización. Hace una diferencia cuando el tiempo de alguien está completamente dedicado a la tarea, mientras que realizar varias tareas a la vez quita el preciado enfoque que necesita para llegar a donde quiere rápidamente. En segundo lugar, apunte a un ''plan suficientemente bueno''. A menudo damos vueltas en círculos para preparar nuestras evaluaciones e invertimos mucho tiempo en intercambios  sobre ella, una línea más recta puede ayudar comenzar con un alcance aproximado y probar y refinar su enfoque a medida que avanza. En tercer lugar, compensar cualquier atajo con la participación de unos pocos interesados ​​seleccionados con conocimiento estratégico como caja de resonancia en el camino.

      Por supuesto, la situación de COVID-19 complica estas reglas generales, en particular cuando el compromiso debe ser virtual; y mi último consejo es que se familiarice con las tecnologías modernas para comprometerse por medios virtuales. Como usted informa, esto podría durar, por lo que podría valer la pena invertir en esas nuevas competencias.

      Saludos cordiales, Aurelie

  • Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

    Discussion

    • Aurelie Larmoyer

      Senior Evaluation officer WFP
      Italia

      Estimado Mustapha,

      Gracias por su mensaje, que plantea muchos temas importantes!

      Para ocuparme de unos pocos, empezaría diciendo alto y claro que el seguimiento y la evaluación no son en absoluto mutuamente excluyentes y son incuestionablemente complementarios.

      Puede ser cierto que la evaluación se ha desarrollado bien como una práctica, y aún más que su función de seguimiento hermana. Dicho esto, un estudio que realizamos (sobre el que hemos compartido recientemente los resultados preliminares -véase  https://www.evalforward.org/index.php/blog/evaluation-agriculture) sugiere que en muchos países en desarrollo, las evaluaciones se realizan principalmente cuando se les apoya una financiación externa dedicada: una indicación de que la "hermana mayor" aún no está establecida en un modelo sostenible...

      En cualquier caso, su mensaje plantea una pregunta importante, que también me preocupa: ¿por qué la función de seguimiento no ha recibido todavía el mismo interés de los donantes; ¿por qué los sistemas de seguimiento no son necesarios como una prioridad, dada la naturaleza esencial de esta herramienta para aprender de acciones pasadas y mejorar las acciones futuras a tiempo? Como también encontró nuestro estudio, antes de promover la evaluación, los países necesitan desarrollar una amplia cultura de gestión basada en resultados que comience, incluso antes del seguimiento, con una planificación basada en los resultados.

      Es un hecho que en muchas instituciones, desde el nivel nacional hasta el internacional, el seguimiento sigue siendo subestimada en gran medida, infrainvertida. Una forma podría ser comenzar identificando quién tiene mayor interés en la "S" cumpliendo su función: identificar qué funciona o qué no, y las causas y circunstancias de esas dinámicas. En este sentido, los evaluadores podríamos desempeñar un papel de apoyo en el surgimiento de esta función, en nuestras respectivas esferas de influencia; incluso si dejamos a un lado nuestra amada independencia por un tiempo?... ¿Qué piensan otros evaluadores?
      Todo bien para todos ustedes,
       

      Aurélie

       

  • Evaluation in the Agriculture sector: what do we know about countries’ capacities?

    Blog

    La evaluación en el sector agrícola: ¿qué sabemos acerca de las capacidades de los países?  

    La evaluación y -de manera más general- la gestión basada en los resultados (GBR) son unas de las herramientas más conocidas para fortalecer la rendición de cuentas y el aprendizaje, y ‑en última instancia- mejorar las políticas y prácticas. ¿Cómo las utilizan las instituciones involucradas en el sector agrícola?, y ¿cuentan los funcionarios que trabajan en éste con las capacidades y recursos adecuados para realizar evaluaciones?

    Los conocimientos sobre estos temas son aparentemente limitados. Por tanto, la Oficina de Evaluación de la FAO y EvalForward

    Escrito por

  • Improving Agriculture and Food Security through Evaluation

    Blog

    The African Evaluation Association’s 9th International Conference will be held in Abidjan, Cote D’Ivoire from 11 to 15 March 2019. The Conference theme is Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems. It aims at expanding the “Made in Africa” evaluation approaches, supporting knowledge sharing, capacity development and networking opportunities among a wide range of organisations and individuals working on evaluation.

    EVAL-ForwARD will actively promote and support one of 12 work strands of the Conference, titled “Improving Agriculture and Food Security through Evaluation”.  

    Those interested in contributing to the conference may propose: papers, roundtables, posters, exhibitions and workshops

    Escrito por

  • Developmental evaluation

    Discussion

    • Aurelie Larmoyer

      Senior Evaluation officer WFP
      Italia

      Dear Mustapha,

      Thank you for a contribution that raises an interesting issue for the development of this Community of Practice.

      I share your hope that EVAL-ForwARD will serve practitioners, to promote evaluations that are useful for refining development interventions. On the other hand, I would be more nuanced about the place, in our exchanges, of more theoretical contributions, which I do not believe should be restricted to an academic community: on the contrary, our platform of exchange plays an important role in that it makes it possible to build bridges between academics and practitioners. Of course, we do not all have the same time to digest the more abstract inputs, but the opportunity is there.

      As for your substantive question on developmental evaluation, you raise an interesting point, which applies to so many other concepts: that of differences of interpretation. How many times, when reading an evaluation journal, did I tell myself that the author did not have the same understanding as me, on a definition, an approach...

      If I share in my turn, what I believe characterizes Developmental Evaluation, over more ‘traditional’ evaluation or M&E, my interpretation is that Developmental Evaluation brings particular  value in cases where the subject to be evaluated is still too uncertainly identifiable  (e.g. because it is complex or innovative) to allow an evaluation on the basis of already formulated indicators or models. The value add of DE would thus be to accompany the intervention whilst it develops and test its effectiveness according to indicators that the evaluator can develop as the intervention is invented, so as to provide a real-time feedback, and so despite the constraints linked to uncertainty. So it seems to me that there is a real place for this approach, which I perceive as more exploratory - perhaps less mechanical - than the approaches based on change theories known ex-ante. In particular, because often the interventions we evaluate are placed in contexts involving many factors, and in cases where interventions evaluated seek to propose innovative solutions.

      I hope that this interpretation will enrich the set of contributions on this subject and that the whole, although of a somewhat theoretical nature, can feed the reflections and practices of the members of this network.

      Best regards,
      Aurelie