Roberto [user:field_middlename] Borlini

Roberto Borlini

Evaluation Officer
World Food Programme
Zimbabwe

My contributions

    • Cuando recién comenzaba mi carrera en el sector del desarrollo, recibí una extraña solicitud de un donante: ¿puede desarrollar el marco lógico de su programa? De hecho, fue algo extraño preguntar tres meses antes del final de la intervención. En retrospectiva, reconozco que probablemente estaban tratando de cubrir sus huellas después de haber omitido algunos pasos en el proceso de aprobación. En ese momento, con algunas quejas, cumplimos con su solicitud de producir un marco lógico a medio cocer que era plausible, pero que no era útil para nadie. No ayudó con la planificación, la gestión o la evaluación del proyecto. Era solo un requisito formal, una casilla para marcar. Ahora, saltemos 20 años. Me contacta una oficina en el país que solicita ayuda. Su programa principal está llegando a su fin y quieren nuestra ayuda para prepararse para una evaluación. Pido algunos documentos para comprender de qué se trata el programa, pero lo que obtengo son principalmente informes de donantes que muestran la intervención a través de lentes de color rosa. Entonces, sugiero "¡desarrollemos una teoría del cambio!".

      No, no estoy loco y no me he convertido en el burócrata que temía hace 20 años (al menos no del todo). Lo que sugiero es que se sienten juntos y que el personal de la oficina en el país me cuente su historia para que podamos reconstruirla y comprender qué hicieron, cómo y por qué. Esto es algo que hacemos habitualmente en la Región de África Oriental y Central del Programa Mundial de Alimentos, donde las teorías de cambio se han convertido en el pan de cada evaluación descentralizada desde 2018. El impulso inicial para desarrollar teorías de cambio provino de la Unidad de Evaluación en la Oficina Regional, donde sentimos que tener una comprensión sólida de cómo funciona el programa, disponible en un formato fácil de compartir, proporcionaría a los evaluadores externos una sólida ventaja. Progresivamente, este ejercicio se volvió más sofisticado y estructurado. Comenzamos a prestar más atención a los supuestos como puntos de estrés donde podemos enfocar las preguntas de evaluación. Hicimos el proceso más inclusivo y participativo, involucrando a actores externos. Agregamos un análisis de árbol de problemas y un mapeo de partes interesadas como pasos propedéuticos antes de diseñar la teoría del cambio. Finalmente, decidimos darle un nombre y optamos por la "evaluación de evaluabilidad", ya que, entre otros propósitos, también la usamos como una herramienta para decidir si una evaluación es deseable y factible.

      Hemos realizado varios de estos ejercicios (14-15? Perdí la cuenta ...) y nunca dejamos de aprender y mejorar nuestro enfoque. En un caso, realizamos una Evaluación de Evaluabilidad junto con una oficina en el país donde la administración quedó atrapada en el fuego cruzado entre dos donantes que solicitaron evaluaciones de sus respectivas subvenciones pero no presupuestaron adecuadamente para los ejercicios. Cuando desarrollamos las teorías de cambio de las dos intervenciones, comenzamos a ver los vínculos entre las vías de impacto que no eran visibles simplemente comparando los respectivos marcos lógicos. Las dos subvenciones podrían capturarse fácilmente bajo una teoría integral del cambio que refleja la realidad de la implementación en el terreno donde los programas se fusionan entre sí sin problemas. Luego propusimos realizar una evaluación fusionando las dos líneas presupuestarias para analizar la intervención general, destacando las complementariedades y sinergias. ¿Adivina qué? ¡Funcionó!

      Uno de los aspectos hermosos de las teorías de cambio es que no necesitamos desarrollarlas en un momento específico. Las TdC son útiles al principio, en el medio o al final de una intervención. Su uso principal y sus aplicaciones serán ligeramente diferentes, pero nunca es demasiado tarde para desarrollar una. Si lo hace al principio, puede concentrarse más en desarrollar una comprensión compartida de cómo funciona el programa y buscar colaboraciones más activas entre las diferentes capas y componentes del programa. Puede informar el desarrollo de indicadores de monitoreo, ayudar en el seguimiento de riesgos y medidas de mitigación, sin mencionar el diseño de evaluaciones transversales. Desarrollado hacia el final, todavía tiene un valor increíble para informar el diseño de la evaluación y las preguntas clave de evaluación que desea responder.

      Una medida del éxito de este enfoque es que ahora recibimos solicitudes de las oficinas de país para que nos ayuden a desarrollar teorías de cambio, incluso cuando no hay una evaluación en sus planes. Ven valor en este ejercicio. Entienden cómo ayuda a formalizar su pensamiento colectivo en una representación visual fácil de comprender. No importa si la solicitud llega antes de que se haya entregado el primer “plato de gachas” o tres meses antes del final del programa, nunca es demasiado temprano o demasiado tarde para diseñar una teoría del cambio.

        

  • Products are launched as early as possible and perfected along the way, learning from mistakes and using enormous quantities of data. Fail fast, fail often, fail better, fail forward has become the mantra of digital entrepreneurs worldwide.

    The UN evaluation sector is not the digital economy. We do not take failure lightly. A lot of tax payers’ money goes into our evaluations, policy decisions depend on those results and for those of us who work in the humanitarian field, every dollar spent on evaluation is a dollar less that reaches people in dire need of aid. Failing fast and often