Roberto [user:field_middlename] Borlini

Roberto Borlini

Evaluation Officer
World Food Programme
Zimbabwe

My contributions

    • Au début de ma carrière dans le secteur du développement, j'ai reçu une étrange demande d'un donateur: pouvez-vous développer le cadre logique de votre programme? C'était en effet une chose étrange à demander trois mois avant la fin de l'intervention. Avec le recul, je reconnais qu'ils essayaient probablement de couvrir leurs traces après avoir sauté certaines étapes du processus d'approbation. À l'époque, avec quelques grognements, nous avons accédé à leur demande en produisant un cadre logique à moitié cuit qui était plausible, mais qui n'était utile à personne. Cela n'a pas aidé à la planification, à la gestion ou à l'évaluation du projet. C'était juste une exigence formelle, une case à cocher. Passons maintenant 20 ans plus tard. Je suis contacté par un bureau de pays qui demande de l'aide. Leur programme phare touche à sa fin et ils veulent notre aide pour préparer une évaluation. Je demande des documents pour comprendre en quoi consiste le programme, mais ce que j'obtiens, ce sont surtout les rapports des donateurs qui montrent l'intervention à travers des lentilles roses. Donc, je suggère "développons une théorie du changement!".

      Non, je ne suis pas fou et je ne suis pas devenu le bureaucrate que je redoutais il y a 20 ans (pas tout à fait du moins). Ce que je propose, c'est de s'asseoir ensemble et que le personnel du bureau de pays me raconte son histoire afin que nous puissions le reconstituer pour comprendre ce qu'il a fait, comment et pourquoi. C'est quelque chose que nous faisons régulièrement dans la Région Afrique Orientale et Centrale du Programme Alimentaire Mondial, où les théories du changement sont devenues le pain et le beurre de toute évaluation décentralisée depuis 2018. La poussée initiale pour développer des théories du changement est venue de l'Unité d'évaluation au Bureau Régional, où nous estimions qu'une bonne compréhension du fonctionnement du programme, disponible dans un format facile à partager, fournirait aux évaluateurs externes une bonne longueur d'avance. Progressivement, cet exercice est devenu plus sophistiqué et structuré. Nous avons commencé à prêter plus d'attention aux hypothèses en tant que points de stress où nous pouvons concentrer les questions d'évaluation. Nous avons rendu le processus plus inclusif et participatif, impliquant des parties prenantes externes. Nous avons ajouté une analyse de l'arbre à problèmes et une cartographie des parties prenantes comme étapes propédeutiques avant de concevoir la théorie du changement. Enfin, nous avons décidé de lui donner un nom et nous avons opté pour «l'évaluation de l'évaluabilité», car, entre autres, nous l'utilisons également comme un outil pour décider si une évaluation est souhaitable et réalisable.

      Nous avons conduit un certain nombre de ces exercices (14-15? J'ai perdu le compte…) et nous n'arrêtons jamais d'apprendre et d'améliorer notre approche. Dans un cas, nous avons mené une évaluation de l'évaluabilité en collaboration avec un bureau de pays où la direction a été prise entre deux feux entre deux donateurs qui ont demandé des évaluations de leurs subventions respectives mais n'ont pas budgétisé adéquatement les exercices. Lorsque nous avons développé les théories du changement des deux interventions, nous avons commencé à voir des liens entre les voies d'impact qui n'étaient pas visibles simplement en comparant les cadres logiques respectifs. Les deux subventions pourraient être facilement saisies sous une seule théorie globale du changement qui reflétait la réalité de la mise en œuvre sur le terrain où les programmes se fusionnent de manière transparente. Nous avons ensuite proposé de réaliser une évaluation fusionnant les deux lignes budgétaires pour examiner l'intervention globale, en mettant en évidence les complémentarités et les synergies. Devine quoi? Ça a marché!

      L'un des beaux aspects des Théories du Changement est que nous n'avons pas besoin de les développer à un moment précis. Les TdC sont utiles au début, au milieu ou à la fin d'une intervention. Leur utilisation et leurs applications principales seront légèrement différentes, mais il n'est jamais trop tard pour en développer une. Si vous le faites au début, vous pouvez vous concentrer davantage sur le développement d'une compréhension commune du fonctionnement du programme et poursuivre des collaborations plus actives entre les différentes couches et composantes du programme. Il peut éclairer l'élaboration d'indicateurs de suivi, aider au suivi des risques et des mesures d'atténuation, sans parler de la conception des évaluations transversales. Développé vers la fin, il a toujours une valeur incroyable pour éclairer la conception de l'évaluation et les questions d'évaluation clés auxquelles vous souhaitez répondre.

      Une mesure du succès de cette approche est que nous recevons maintenant des demandes d'appui des bureaux de pays pour l'élaboration des théories du changement, même en l'absence d'évaluation dans leurs plans. Ils voient la valeur de cet exercice. Ils comprennent comment cela aide à formaliser leur pensée collective en une représentation visuelle facile à saisir. Peu importe si la demande arrive avant la livraison du premier « bol de bouillie » ou trois mois avant la fin du programme, il n'est jamais trop tôt ni trop tard pour concevoir une théorie du changement.

  • Products are launched as early as possible and perfected along the way, learning from mistakes and using enormous quantities of data. Fail fast, fail often, fail better, fail forward has become the mantra of digital entrepreneurs worldwide.

    The UN evaluation sector is not the digital economy. We do not take failure lightly. A lot of tax payers’ money goes into our evaluations, policy decisions depend on those results and for those of us who work in the humanitarian field, every dollar spent on evaluation is a dollar less that reaches people in dire need of aid. Failing fast and often