Olivier [user:field_middlename] Cossée

Olivier Cossée

Senior Evaluation Manager
FAO
Italia

I am an evaluator with over 20 years of evaluation practice, mainly as part of the central evaluation offices of two United Nations agencies: FAO and UNDP. Prior to that, I have worked for 10 years for NGOs and for the UN Capital Development Fund (UNCDF) as a rural development expert and programme manager in Afghanistan, Ethiopia and Mauritania. An agronomist by training and a generalist by inclination, I have evaluated programmes a wide array of domains and sectors beyond rural development and natural resource management, such as in the “humanitarian-development nexus” and resilience building, or assistance to democratic governance, rule of law and elections. I have also evaluated development approaches and strategies, such as participatory approaches, programme approach, and global development goals and agendas (MDGs, SDGs).

My contributions

  • How are we progressing in SDG evaluation?

    Discussion
    • En cuanto a la pregunta de Chris, no estoy seguro de que vaya a haber un próximo marco de desarrollo mundial sucesora después de 2030. El multilateralismo no está en un buen momento. Los ODS se aprobaron tras el final de la guerra fría, pero por desgracia, la guerra fría está volviendo...  Así que está por ver si en 2030 habrá suficiente buena voluntad entre las naciones para llegar a una agenda sucesora.

  • How are mixed methods used in programme evaluation?

    Discussion
    • A continuación, doy respuesta a la siguiente pregunta, formulada por Jean Providence: ¿Conocen algún caso de una evaluación en la que los métodos cuantitativos hayan PRECEDIDO a los cualitativos? 

      1) No se puede medir aquello que no se ha concebido adecuadamente. Por tanto, antes de intentar medir algo, siempre es necesaria una exploración cualitativa. Si mi mujer va a una tienda de muebles y me manda el siguiente mensaje: “Cariño, he encontrado este artículo maravilloso para la cocina. Cuesta 500 euros y mide 2 metros de largo por 1,5 metros de ancho. ¿Te parece bien?” No sabría qué contestarla, porque, aunque especifica el precio y las dimensiones del artículo, no sé a qué se refiere, en términos cualitativos. ¿Se trata de una mesa, de un armario o de una alfombra? No tiene sentido cuantificar algo sin haberlo caracterizado antes.

      2) Dicho esto, también hay cabida para enfoques cualitativos tras un esfuerzo de cuantificación. Jean, tienes razón en esto. En algunos casos, una encuesta puede obtener resultados aparentemente chocantes. Una forma de darles sentido es profundizar en esa cuestión concreta por medio de algunas entrevistas cualitativas adicionales. 

      Espero que esto tenga sentido.

       

    • Hola Jean, y gracias por tu pregunta.

      Creo que todas las cuestiones de evaluación requieren un enfoque mixto. Las herramientas de recopilación de datos no son más que herramientas; hay que utilizarlas de manera oportunista -cuando funciona-, pero sobre todo no idolatrarlas. Sería como un fontanero al que le encantan las llaves inglesas pero no los destornilladores, y que intenta hacerlo todo con una llave inglesa, incluso atornillar tornillos... Eso sería absurdo: un buen fontanero utiliza varias herramientas, cuando y como es necesario, y no se pregunta qué tipo de fontanería requiere una sola herramienta...

      Del mismo modo, un buen evaluador debe saber utilizar una caja de herramientas con varias herramientas, no sólo una las llave inglesa. 

      Estoy de acuerdo con Vincente en que el trabajo cualitativo siempre debe PRECEDER a un esfuerzo cuantitativo. Antes de medir algo, hay que saber por qué y cómo medirlo, y para ello se necesita una comprensión CUALITATIVA del objeto de la medición. Uno de los errores más comunes de los "randomistas" es que gastan mucho tiempo y dinero en encuestas demasiado largas y complejas, porque no saben qué es importante medir. Así que intentan medirlo todo con cuestionarios interminables, y suelen fracasar.

  • En una ponencia magistral, repleta de datos y que invitaba a la reflexión, Peter Dahler-Larsen y Estelle Raimondo pidieron a los participantes que reconocieran que, en ocasiones, la evaluación es más un problema que una solución. Al hacer balance del crecimiento de la evaluación como práctica y disciplina, abogaron por un mejor equilibrio entre los beneficios y los costes de los sistemas de evaluación.

    ¿Qué sucede cuando los evaluadores vuelven la mirada hacia sí mismos? A veces se trata de un mero ejercicio de autocomplacencia. Sin embargo, Peter Dahler-Larser[1]y Estelle Raimondo[2] prepararon algo muy diferente para los

  • Evaluating agroecology: what is your experience?

    Discussion
    • Gracias Seda por destacar la herramienta TAPE. Había oído hablar de ella en la revisión del ODS 2 que hicimos en 2019/20, a la que amablemente hiciste referencia.

      Las directrices de TAPE proporcionan muy buenos cuestionarios de muestra en el anexo, que podrían ser adaptados localmente y utilizados por los evaluadores (y otros) para construir su propia herramienta o cuestionario. Las preguntas que se incluyen allí también ayudan no sólo a medir, sino también a definir la agroecología mediante la explicación de una serie de variables clave.

      Así que las directrices de TAPE ayudan a responder a la observación de Laurent sobre la necesidad de definir cómo es el éxito en la transición a la agroecología. Creo que es una cuestión importante.

      Se ha avanzado muy poco en la transición hacia una agricultura más sostenible, y una de las razones puede ser que no nos ponemos necesariamente de acuerdo sobre cómo es el éxito. Si bien es cierto que la sociedad civil y las organizaciones de agricultores han llevado a cabo experiencias interesantes desde la década de 1980, la agroecología no ha logrado hasta ahora convencer a los responsables de la toma de decisiones en los ministerios de agricultura, excepto en un puñado de países como Senegal, gracias a los incesantes esfuerzos de ENDA Pronat, su secretaria Mariam Sow y muchos otros.

      La agroecología es percibida incluso como ideológica o militante por algunos gobiernos, debido a sus raíces históricas como alternativa a la Revolución Verde. Por lo tanto, definir el enfoque de forma más objetiva ayudaría a anclarlo firmemente en la ciencia, y TAPE también puede contribuir a ello.

      Evidentemente, el éxito dependerá del contexto agroecológico. No tendría sentido aplicar exactamente los mismos criterios en todo el mundo. También contradiría un principio básico de la agroecología, que es que se supone que es ascendente.

      Así que me parece que la forma correcta de definir con mayor precisión un producto o sistema agroecológico es hacerlo a nivel local, basándose en unas normas mínimas acordadas con los productores de alimentos locales, los comerciantes y las organizaciones de consumidores. Esto es, por ejemplo, lo que ha hecho Nicaragua con su Ley de Fomento de la Producción Agroecológica y Orgánica (2011), seguida de las Normas Técnicas Obligatorias aprobadas y promulgadas en 2013 para caracterizar, regular y certificar las unidades de producción agroecológica. Muchos países han hecho lo mismo, en un esfuerzo por promover la agroecología a través de la educación del consumidor y el etiquetado de los alimentos.

    • Estimada Umi,

      Muchas gracias por compartir este excelente artículo de Carol Weiss [contribución anterior aquí]. Es viejo, pero es de oro. Acabo de terminarlo y quiero grabar algunas de sus frases en el hormigón de las paredes de mi oficina. Por ejemplo:

      Weiss saca a la luz una serie impresionante de supuestos que se cuecen en la práctica de la evaluación. No todos se asumen como verdaderos, pero creo que tiene razón en que tienden a "pasar desapercibidos", es decir, a ser aceptados silenciosa e incluso inconscientemente la mayoría de las veces. He aquí una lista de estos supuestos, basada en su artículo:

      1. La selección de los programas o políticas que se evalúan y de los que no se evalúan se hace de forma justa, es decir, no hay una agenda oculta en el plan de evaluación y ningún programa está protegido de la evaluación.
      2. El programa que se va a evaluar tiene objetivos razonables, deseables y alcanzables, por lo que puede evaluarse en función de estos objetivos.
      3. Se puede confiar en que los objetivos explícitos del programa son verdaderos; no hay una agenda oculta, sino que reflejan los objetivos reales de la intervención.
      4. El programa evaluado es un conjunto coherente de actividades, razonablemente estable a lo largo del tiempo e independiente de otros programas o políticas similares, por lo que tiene sentido centrarse en él en una evaluación: es una unidad de análisis válida.
      5. Las partes interesadas en el programa, los beneficiarios y los evaluadores están de acuerdo en lo que es bueno y deseable; cualquier diferencia de valores puede conciliarse, de modo que el debate se limita generalmente a los medios para llegar a ellos.
      6. Los resultados del programa son importantes para el personal del programa y para los responsables de la toma de decisiones, de quienes se puede esperar que presten atención a las pruebas recogidas por la evaluación para mejorar los resultados.
      7. Las preguntas de los términos de referencia son las importantes y reflejan la preocupación de los destinatarios del programa, no sólo de los ejecutores del mismo.
      8. El equipo de evaluación, tal y como está compuesto, puede lograr un buen grado de objetividad (neutralidad-imparcialidad-independencia...) en su análisis.
      9. En la mayoría de los programas, lo que se necesita para mejorar los resultados es un cambio incremental (esfuerzos renovados, más recursos) en lugar de desechar el programa por completo o cambiar radicalmente su enfoque.

      Esta última suposición se basa en el hecho de que la mayoría de las recomendaciones que surgen de las evaluaciones se refieren a pequeños ajustes en la aplicación del programa. Weiss lo relaciona con el tipo de mensajes que pueden aceptar los encargados de las evaluaciones.

      En la práctica, todos son problemáticos, al menos ocasionalmente, y Weiss hace un gran trabajo mostrando cómo algunos de ellos a menudo no se sustentan en los hechos. Por ejemplo, en la hipótesis 1, muestra que los nuevos programas suelen estar sometidos a más presión evaluativa que los antiguos y bien establecidos.

      Así que gracias de nuevo por un artículo tan perspicaz. La evaluación es, en efecto, de naturaleza política y los evaluadores sólo pueden beneficiarse si lo comprenden.

      Olivier

       

    • Estoy de acuerdo [con Steven Lam más abajo]. Sigue siendo importante intentar luchar por la neutralidad, la independencia y la imparcialidad (tomando estos conceptos como sinónimos a grandes rasgos), incluso si sabemos que en la práctica estos "ideales" pueden no alcanzarse al 100%. Sigue siendo importante intentar controlar los prejuicios, sigue siendo importante consultar ampliamente, etc., aunque sepamos que la neutralidad perfecta es humanamente imposible de alcanzar. Y la razón por la que es importante está relacionada con la obtención de un resultado más convincente, más creíble y útil. Una evaluación sesgada a menudo no se utiliza, y con razón.
       

       

    • También estoy de acuerdo. No existe un ser humano o una metodología perfectamente neutral, y si eso es lo que pretendemos, estamos abocados al fracaso.

      Lo mejor que podemos hacer es tratar de ser conscientes de nuestros propios sesgos, creencias y suposiciones, ser conscientes de las limitaciones y sesgos que implica tal o cual método, y tratar de lidiar con esas limitaciones y sesgos.

      Así que, en lugar de decir que "una información imparcial ayudará a hacer las correcciones necesarias", yo diría que para que una evaluación sea creíble (y, por tanto, útil), todas las partes interesadas deben confiar en que los evaluadores y el proceso son ***razonablemente*** neutrales, es decir, que no están excesivamente influenciados por ninguna parte interesada en particular, que ninguna parte interesada es marginada o silenciada durante el proceso, y que los evaluadores no están atascados ideológicamente en un punto de vista concreto, sino que mantienen una "mente abierta" hacia varios puntos de vista e interpretaciones. En mi opinión, esto se acercaría más a un estándar de independencia de la evaluación más alcanzable que la objetividad perfecta.

      Gracias,

      Olivier

  • SDG evaluations: How to eat an elephant

    Blog

    Es por ello que he pensado en compartir algunas de las lecciones que hemos aprendido de nuestra evaluación de la contribución de la FAO al ODS 2 (Hambre cero)[1].

    Hace poco hablaba con dos colegas sudafricanos — Ian Goldman, del Centro para el Aprendizaje en Evaluación y Resultados (CLEAR) para África anglófona, y Dirk Troskie, del Departamento de Agricultura del Gobierno del Cabo Occidental, Sudáfrica— sobre los desafíos de evaluar la contribución a los ODS. Parecían un poco sorprendidos de que nos hubiéramos embarcado en esta tarea, ya que los vínculos causales entre la Agenda 2030

  • Reporting and supporting evaluation use and influence

    Discussion
    • Hola Silvia y todos,

      Estoy de acuerdo en que los evaluadores no son los únicos que intentan encontrar soluciones, y que los gestores de los programas y los responsables de la toma de decisiones no deberían estar libres de culpa, pero creo que los evaluadores deben proponer soluciones razonables a los problemas que plantean. 

      De lo contrario, no veo su valor añadido, ni qué diferencia a la evaluación de la investigación. Además, una evaluación que evitara proponer soluciones sería, en mi opinión, un ejercicio bastante fácil y negativo: no es tan difícil detectar cuestiones y problemas, cualquiera puede hacerlo; lo difícil es proponer algo mejor, de forma constructiva. Forzarse a proponer alternativas razonables es a menudo un ejercicio de humildad, ya que obliga a darse cuenta de que "la crítica es fácil, pero el arte es difícil".

      Saludos,

      Olivier
       

    • ¡Hola a todos!

      Yo también he seguido el debate con mucho interés. No puedo estar más de acuerdo con Lal sobre la necesidad de claridad, brevedad y ausencia de jerga. Hasta que no seas capaz de explicar en pocas y sencillas palabras el proyecto que has evaluado a alguien que no sabe nada de él (como tu abuela o tu tío), entonces no lo has evaluado todavía. Sólo has recogido datos, eso es todo. Todavía tienes que digerir esos datos, ver lo que significan, sintetizarlos en un diagnóstico nítido y utilizable de los problemas y las posibles soluciones. Ser capaz de resumir una evaluación en un "discurso de ascensor" claro y convincente es la clave de la utilidad. También es importante que el evaluador sea capaz de transmitir este mensaje claro una y otra vez, de forma coherente, a diferentes audiencias. 

      Saludos, 

      Olivier

  • El informe de este año se centra en la transformación de los sistemas alimentarios para lograr dietas saludables y asequibles. La publicación analiza el coste de estas dietas en todo el mundo, por regiones y en diferentes contextos de desarrollo. La calidad de los alimentos es un factor importante para la seguridad alimentaria.

    En el informe se utilizan varios indicadores. Quisiera aprovechar esta oportunidad para reflexionar sobre las dimensiones políticas y culturales de los indicadores de desarrollo, analizando brevemente dos de ellos. Ambos están relacionados con la meta 2.1 de los ODS -que aspira a poner fin al hambre-

    • Thanks to Christine for launching this interesting topic. It has been a worry for some time for me. I work in the FAO evaluation office and lead country programme evaluations in African countries. From this work, it seems to me that the Agriculture Ministry is often seen as one of the most bureaucratic and least effective in government, the one least likely to make good use its funding. I venture that the lack of funding for agriculture may be linked to this perception. Consequently, an organization such as mine (FAO) should crank up its assistance to Agriculture Ministries, not to use their programme delivery system without question but rather to ***reform*** it and make them less bureaucratic and more efficient, and therefore more attractive for national and international donors.

      This is certainly the picture we got in Uganda, where half of all national treasury funding for agriculture goes to Operation Wealth Creation implemented by the Prime Minister Office and the Army, not by MAAIF (ag. ministry). When we asked why, the response we got was that MAAIF needed to get its act together rather than operate as an unstructured collection of departments competing for resources... The same picture emerges in Ethiopia, where the Government created the Agriculture Transformation Agency in 2010 precisely because they did not trust the Ministry of Agriculture to change, reform and deliver. ATA is getting massive funding from donors, far more than the Ministry of Agriculture, and the two institutions see one another as competitors.

      In other words, there may be more funding to agriculture than meet the eye. Some of it doesn't flow through the 'regular' channels, because these channels are seen as problematic by donors and governments. I think this diagnostic applies to FAO itself. There is currently a debate among donors about creating a global fund for agriculture on the model of the GFATM, and the rationale for it is: the current delivery channels can't absorb more funding and make good use of it.

      I don’t know if this resonates with others' experience, and welcome both rejoinders and rebuttals!

      Olivier