Aurelie [user:field_middlename] Larmoyer

Aurelie Larmoyer

Evaluation officer
WFP
Italia
    • Estimada Malika,

      Gracias por plantear una pregunta tan importante. La encuentro interesante en dos aspectos:

      En primer lugar, porque plantea la cuestíon de cómo podemos capturar los efectos inmediatos (o a medio plazo) de la situación del COVID-19 en nuestras realidades. Muchos evaluadores están lidiando con esta pregunta. Algunos colegas del sistema de las Naciones Unidas han trabajado para trazar algunas orientaciones generales a este respecto. Por ejemplo, la publicación reciente de la Oficina de Evaluación de la OIT (https://www.ilo.org/wcmsp5/groups/public/---ed_mas/---eval/documents/pu…) podría servir de inspiración, ya que enumera, en el anexo, preguntas típicas de evaluación que coinciden con la necesidad de recopilar información específica relevante para el COVID-19.

      También me parece interesante su pregunta porque se refiere a cómo hacer evaluaciones rápidas, a las que también teníamos muchas razones para aspirar incluso antes de la pandemia, y sobre las que, por lo tanto, hay experiencias pasadas sobre las que basarnos. Y, si nuestra colega Jennifer tiene razón al subrayar que la evaluación no se presta fácilmente a una reacción rápida, creo que hay formas de acelerar los procesos para satisfacer la importancia de la puntualidad. Puedo compartir los siguientes puntos de aprendizaje con respecto a lo que funcionó cuando apunté a realizar evaluaciones rápidamente. En primer lugar, la focalización. Hace una diferencia cuando el tiempo de alguien está completamente dedicado a la tarea, mientras que realizar varias tareas a la vez quita el preciado enfoque que necesita para llegar a donde quiere rápidamente. En segundo lugar, apunte a un ''plan suficientemente bueno''. A menudo damos vueltas en círculos para preparar nuestras evaluaciones e invertimos mucho tiempo en intercambios  sobre ella, una línea más recta puede ayudar comenzar con un alcance aproximado y probar y refinar su enfoque a medida que avanza. En tercer lugar, compensar cualquier atajo con la participación de unos pocos interesados ​​seleccionados con conocimiento estratégico como caja de resonancia en el camino.

      Por supuesto, la situación de COVID-19 complica estas reglas generales, en particular cuando el compromiso debe ser virtual; y mi último consejo es que se familiarice con las tecnologías modernas para comprometerse por medios virtuales. Como usted informa, esto podría durar, por lo que podría valer la pena invertir en esas nuevas competencias.

      Saludos cordiales, Aurelie

    • Estimado Mustapha,

      Gracias por su mensaje, que plantea muchos temas importantes!

      Para ocuparme de unos pocos, empezaría diciendo alto y claro que el seguimiento y la evaluación no son en absoluto mutuamente excluyentes y son incuestionablemente complementarios.

      Puede ser cierto que la evaluación se ha desarrollado bien como una práctica, y aún más que su función de seguimiento hermana. Dicho esto, un estudio que realizamos (sobre el que hemos compartido recientemente los resultados preliminares -véase  https://www.evalforward.org/index.php/blog/evaluation-agriculture) sugiere que en muchos países en desarrollo, las evaluaciones se realizan principalmente cuando se les apoya una financiación externa dedicada: una indicación de que la "hermana mayor" aún no está establecida en un modelo sostenible...

      En cualquier caso, su mensaje plantea una pregunta importante, que también me preocupa: ¿por qué la función de seguimiento no ha recibido todavía el mismo interés de los donantes; ¿por qué los sistemas de seguimiento no son necesarios como una prioridad, dada la naturaleza esencial de esta herramienta para aprender de acciones pasadas y mejorar las acciones futuras a tiempo? Como también encontró nuestro estudio, antes de promover la evaluación, los países necesitan desarrollar una amplia cultura de gestión basada en resultados que comience, incluso antes del seguimiento, con una planificación basada en los resultados.

      Es un hecho que en muchas instituciones, desde el nivel nacional hasta el internacional, el seguimiento sigue siendo subestimada en gran medida, infrainvertida. Una forma podría ser comenzar identificando quién tiene mayor interés en la "S" cumpliendo su función: identificar qué funciona o qué no, y las causas y circunstancias de esas dinámicas. En este sentido, los evaluadores podríamos desempeñar un papel de apoyo en el surgimiento de esta función, en nuestras respectivas esferas de influencia; incluso si dejamos a un lado nuestra amada independencia por un tiempo?... ¿Qué piensan otros evaluadores? Todo bien para todos ustedes,  

      Aurélie

       

    • Dear friends,

      Thank you for these very rich and sensible comments, which demonstrate a solid experience and thinking on these issues.

      Dear Tim, the idea of a system that relies on enabled collaborations with research institutes is indeed interesting. You point to the need to unifying data systems, and investing in technology, alongside with the necessary capacity development: does your experience help identify who could support such investments? Is this a matter of inciting the political or finding financing partners?

      As regards the need to better connect evaluators with the Ministry of Agriculture, and finding change agents or leaders, as also pointed by our colleagues from AVANTI, we agree these are important levers to promote effective evaluation. The question remains: what incentivizes these positive spins? If anyone want to share any elements of success in this respect, we will welcome your thoughts!

      Thank you, Aurelie

  • Developmental evaluation

    • Dear Mustapha,

      Thank you for a contribution that raises an interesting issue for the development of this Community of Practice.

      I share your hope that EVAL-ForwARD will serve practitioners, to promote evaluations that are useful for refining development interventions. On the other hand, I would be more nuanced about the place, in our exchanges, of more theoretical contributions, which I do not believe should be restricted to an academic community: on the contrary, our platform of exchange plays an important role in that it makes it possible to build bridges between academics and practitioners. Of course, we do not all have the same time to digest the more abstract inputs, but the opportunity is there.

      As for your substantive question on developmental evaluation, you raise an interesting point, which applies to so many other concepts: that of differences of interpretation. How many times, when reading an evaluation journal, did I tell myself that the author did not have the same understanding as me, on a definition, an approach...

      If I share in my turn, what I believe characterizes Developmental Evaluation, over more ‘traditional’ evaluation or M&E, my interpretation is that Developmental Evaluation brings particular  value in cases where the subject to be evaluated is still too uncertainly identifiable  (e.g. because it is complex or innovative) to allow an evaluation on the basis of already formulated indicators or models. The value add of DE would thus be to accompany the intervention whilst it develops and test its effectiveness according to indicators that the evaluator can develop as the intervention is invented, so as to provide a real-time feedback, and so despite the constraints linked to uncertainty. So it seems to me that there is a real place for this approach, which I perceive as more exploratory - perhaps less mechanical - than the approaches based on change theories known ex-ante. In particular, because often the interventions we evaluate are placed in contexts involving many factors, and in cases where interventions evaluated seek to propose innovative solutions.

      I hope that this interpretation will enrich the set of contributions on this subject and that the whole, although of a somewhat theoretical nature, can feed the reflections and practices of the members of this network.

      Best regards,
      Aurelie