Carlos [user:field_middlename] Tarazona

Carlos Tarazona

Senior Evaluation Officer
FAO
Italie

My contributions

  • Evaluability Assessments: An invitation to reflect and discuss

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Bonjour Amy,

      Merci d'avoir lancé ce fructueux débat. J'aimerais partager mon expérience en matière d'évaluation de l'évaluabilité des programmes de la FAO. Ces évaluations ont généralement pour but de déterminer si le travail de la FAO dans un domaine donné est prêt à être évalué et/ou d'informer la prise de décision sur les plans d'évaluation de la FAO.

      Par exemple, l'évaluation de l'évaluabilité du programme de réduction de la pauvreté rurale de la FAO (disponible à l'adresse https://openknowledge.fao.org/server/api/core/bitstreams/161ba76c-daea-...) a permis d'identifier les composantes du programme de la FAO qu'il était possible et utile d'évaluer en termes de résultats. Avec cet objectif en tête, l'évaluation de l'évaluabilité a examiné la clarté de la logique du programme et le degré d'achèvement des activités planifiées et l'utilisation des ressources, et a abouti à des propositions sur la portée, l'approche, la conception méthodologique et le plan de travail de l'évaluation.

      Plus récemment, nous utilisons les évaluations de l'évaluabilité pour éclairer nos décisions sur les évaluations à mener, ainsi que pour définir leur portée, leurs objectifs et leur approche. Cette évolution est conforme à notre stratégie à moyen terme qui vise à garantir que le bureau de l'évaluation produise des évaluations de haute qualité qui répondent aux besoins des parties prenantes de la FAO (https://www.fao.org/evaluation/highlights/detail/fao-evaluation-strateg...).   
       

      Cordialement, 

      Carlos

       

  • Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Cher John,

      Merci d'avoir lancé cette discussion intéressante ! L'approche que vous décrivez est très similaire à la manière dont la cartographie des résultats (OM) est utilisée à des fins de planification et de suivi. Au Bureau de l'évaluation de la FAO, nous avons utilisé la théorie du changement (TdC) et la cartographie des résultats uniquement à des fins d'évaluation. 

      Je pense que vous pouvez trouver quelques exemples sur l'évolution de la TdC et l'application de la cartographie des résultats dans le monde réel sur le site web Better Evaluation : https://www.betterevaluation.org/en/plan/approach/outcome_mapping

      Salutations distinguées, 

      Carlos

  • How do we adapt our evaluation approach to the impact of the Covid-19 pandemic?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Cher Nick,

      Merci de votre post très intéressant, et de partager votre expérience dans la lutte avec cet énorme défi. Je tiens à partager quelques réflexions, du point de vue de mon rôle d’évaluateur et de commissaire d’évaluations.

      À court terme, je me pose la question de la valeur que les acteurs peuvent accorder aux évaluations effectuées à distance et, à moyen terme, de la menace que cela représente pour l’évaluation en tant que profession.

      Quelle est la valeur ajoutée d’une évaluation qui se fait à distance? Dans quelques évaluations en cours avec de grandes composantes sur le terrain, nous sommes confrontés à des problèmes dont nous ne devrions pas sous-estimer la conséquence car ils pourraient réduire la crédibilité de l’ensemble de l’exercice (incapacité d’observer les changements de première main, la dépendance à l’évalué pour choisir qui participe et qui pas, les limites à la triangulation avec les bénéficiaires et les partenaires locaux, etc.) et mettre nos équipes en danger d’être contestées au cas où elles arriveraient à des conclusions négatives ou erronées, sinon inexactes.

      Ensuite, l’évaluation en tant que profession : si nous faisons les choses à distance et sans triangulation crédible et participation ascendante, qu’est-ce qui nous différencie de ceux qui font des analyses ou même l’audit du rendement? Si nous préconisons des évaluations à distance, et que les collègues/partenaires se rendent compte que ceux-ci peuvent être faits à moindre coût et de manière non rigureuse, nous pourrions avoir des problèmes à l’avenir :  i) vendre l’évaluation comme un outil distinctif et vraiment d’apprentissage, et ii) obtenir des dispositions / budgets d’évaluation adéquates.

      En lien avec cela, l’impératif moral pour les évaluateurs de ne pas faire de mal. Compte tenu de toutes les inconnues que cette pandémie apporte, il est notre devoir de ne pas mettre plus de gens en danger, ni d’évaluateurs locaux ni de bénéficiaires. Essayer de reporter les évaluations si possible, du moins jusqu’à ce qu’il devienne plus clair ce que nous pourrions faire en toute sécurité sur le terrain et ce que nous ne pouvons pas, ce sera une chose juste et éthique à faire.

      Sinceres salutations

      Carlos

       

  • How useful are theories of change in development programmes and projects?

    Blog

    De nos jours, de nombreux donateurs, organisations Internationales, agences gouvernementales et ONG promouvent leur utilisation comme moyen de s'assurer que leurs activités quotidiennes sont alignées sur leurs objectifs ultimes. J'ai abordé ce sujet avec la communauté et demandé aux membres de partager leur expérience sur l’utilisation des TdC et leur point de vue sur la principale valeur ajoutée.

    Plusieurs membres ont participé et proposé des idées pour assurer une utilisation adéquate des TdC, telles que les suivantes:

    • Les TdC ajoutent de la valeur lorsqu'ils sont co-générées de manière participative avec les chefs de projet, les experts techniques, les exécutants et les

    Posté par

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Thank you Jackie and Richard, and all the previous commenters! It has been an interesting discussion, with so many different points of view and insights. We will soon be wrapping this up and summarize the learning in an Evalforward's blog. Keep an eye on it!

      Best to all,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Chers collègues,

      Je voulais soulever un aspect qui est apparemment devenu une procédure standard lors de la réalisation des TdC - de nombreux collègues ont déclaré qu'ils utilisent largement cet outil pour la conception / mise en œuvre / évaluation de programmes. Cependant, la littérature suggère que «les théories du changement peuvent commencer par un programme, mais sont meilleures quand on commence par un objectif, avant de décider quelles approches programmatiques sont nécessaires». (voir la présentation de l'AEA partagée dans un post précédent)

      Ainsi, le point de départ de la TdC devrait idéalement être des objectifs de développement / humanitaires dans un thème particulier (pauvreté / réduction de la faim, adaptation au changement climatique, développement rural, autonomisation des femmes, sauver des vies) qui ont été identifiés par les principales parties prenantes (généralement le gouvernement, car il nous représente tous, ou les acteurs humanitaires en son absence) pour une zone géographique donnée (pays, état / région, province, district), et non l'objectif spécifique du programme (ou projet).

      À titre d'exemple, dans une récente évaluation des contributions de la FAO au développement du secteur alimentaire et agricole au Mexique (http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c/1202316 ), nous avons utilisé les théories du changement du gouvernement mexicain pour cartographier et puis évaluer les contributions de la FAO. Le gouvernement mexicain (membre de l'OCDE) devait en effet légalement élaborer des théories du changement à différents niveaux thématiques et géographiques (national / étatique) dans le cadre de sa planification à long terme (plans nationaux de développement) et à moyen terme (stratégies et programmes) processus, souvent avec des conseils CONEVAL (https://www.coneval.org.mx/Paginas/principal.aspx ). Cela, conjugué au fait que la FAO avait planifié son programme de travail selon les théories du changement du Mexique, a permis à l'évaluation d'évaluer les contributions de la FAO par rapport à ces cadres.

      Je me demandais si d'autres collègues avaient expérimenté des TdC de développement ayant des objectifs de développement / humanitaires convenus / possédés localement comme point de départ (et non l'objectif spécifique de l'agence de financement à l'esprit), et s'ils pensaient que c'était une voie réalisable dans leur propre pays / agences.

      Meilleures salutations,

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Cher Elamin,

      Merci pour ta question. Il y a quelques années, l'American Evaluation Association a eu une discussion sur ce sujet (ToC vs Logic Models). Vous trouverez ci-dessous un lien vers la présentation faite par Helene Clark (The Center of Theory of Change) au cours de cette session https://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/TOCs…

      Meilleures salutations,

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Chers collègues,

      Merci pour vos contributions très intéressantes. Si quelqu'un pouvait apporter des exemples spécifiques d'application de la TdC, dans les pays en développement ou développés, et souligner combien cela était utile pour le programme évalué, ce serait formidable

  • Using synthesis and meta-analysis in development evaluation

    Blog

    Prospective users of such information, however, have become less capable to take full account of this development, in part due to lack of time and capacities to absorb all the information. Decision-makers in particular demand and expect from researchers and evaluators to provide them with products to facilitate the uptake of such knowledge. Evaluation synthesis can fill this gap by building on findings from different sources to get a better understanding of the effectiveness of a program or policy. 

     A synthesis is the integration of existing knowledge and findings relevant to a topic, and has as its main objective to

    Posté par

  • Using synthesis and meta-analysis to make the most of evaluative evidence: what is your experience?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Dear Malika,

      Thanks for sharing your experience with document analysis. It is indeed a great way to have early insights into the effectiveness of a programme or policy, although -depending on the amount of materials for review- it could also be a very demanding task.

      You raised a very good point regarding the issue of accessibility to documents. With the advent of the internet it is assumed that information is becoming globally available, while digitalization is making reports and research more and more accessible through online means. 

      What is the perspective in the global south? Are government (evaluation) reports and research from academia easier to access? Are they available in a format and language that make them suitable for synthesis and meta-analysis?

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Dear All,

      A colleague has shared with me a link to a series of synthesis reports of impact assessments on various agricultural topics done by the CGIAR:

      https://ispc.cgiar.org/publications/all?keywords=&year=All&type=1571&workstream=1568

      Hope you find it useful too!

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Dear Olivier and Lal,

      Thank you very much for your contributions.

      Regarding a definition of synthesis (or synthetic approach), for the purpose of this discussion, we can define it as the process of reviewing, assessing and synthesising existing literature or data to produce a series of outputs (products and services).

      A first step in this process is to review the quality of the literature or data that will be aggregated to ensure that is comparable and meet the research protocol requirements. Afterwards, the synthesis is conducted often by academic disciplinary experts, but can also be done by inter- or transdisciplinary working groups or evaluators drawing on knowledge from across academia and beyond, the latter to ensure a comprehensive analysis and avoid the pitfals raised by Lal.

      There are many guidelines out there on how to conduct synthesis reviews, especially in the areas of health and education. Perhaps the ones better know and applied in the field of agriculture and rural development are those developed by 3IE and Campbell Collaboration, accessible at this link: https://www.3ieimpact.org/our-expertise/synthesis

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Dear Members,

      Thanks to those who contributed to the discussion on the use of synthesis and meta-analysis in development evaluation. The exchange supported my preparation for the What Works Global Summit 2019 (wwgs2019.org), where synthesis and meta-analyses are discussed as tools for designing, implementing and assessing programmes and policies. A synthesis is the integration of existing knowledge and findings relevant to a topic, and has as its main objective to increase the applicability of evaluation findings and develop new knowledge through the integration process. It is promoted as an approach that addresses the challenge of "information overload", delivering products that distil relevant evidence for decision-making.

      Here are the main issues shared by participants: 

      • Synthesis work needs to be focused and pragmatic in order to attain its goal.
      • Evaluation documents needs to be easily available, and the researchers need to interact with key stakeholders throughout the preparation process.
      • Meta-analyses of evaluations allows the identification of structural themes that affect performance, which is of interest to donors and programme managers.
      • A more holistic approach is required to enhance the engagement and outreach of the learning, i.e. by organizing dedicated workshops to discuss the findings of the evaluation synthesis.
      • Meta-analysis can provide very valuable insights on the performance of a programme or approach, and guide primary data collection. It can however be very time-consuming and thus not always feasible to undertake within the timeframe of an evaluation.
      • Meta-analysis can be an important tool for decision-makers but is not well known among evaluators. More training on its usage could help broadening awareness and application of the approach.

      Taking on this last point, EvalForward will organize a webinar soon for members interested in learning more on synthesis and meta-analysis. Stay tuned!

      Carlos

  • How can we improve the quality of development projects?

    Blog

    When evaluating projects, we identify issues that affect their effectiveness and note that these often originate from flaws at design and/or implementation stages.

    In early July, I raised this topic with the Community and asked which good practices members would recommend to governments, donors, international organizations and non-governmental organizations to improve project effectiveness.

    Several members shared suggestions and ideas for ensuring high-quality projects, such as the following:

    • Quality projects should clearly contribute to a bigger developmental impact of the country.
    • Projects should have clear objectives, milestones and monitoring of deliverables.
    • Commitment and ownership by the government is key; this goes

    Posté par

  • What can we do to improve the quality of development projects?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italie

      Dear members,

      Thanks to all of you for contributing to this discussion. 

      Here is a summary of the suggestions and ideas shared:

      • Quality projects should clearly contribute to a bigger developmental impact of the country.
      • Projects should have clear objectives, milestones and monitoring of deliverables.
      • Commitment and ownership by the government is key; this goes beyond the signing of the financial agreement and includes the actual commitment of human and financial resources.
      • Participation of beneficiaries since the design stage can help in ensuring that the project address a problem that is relevant to them. 
      • Projects should be relevant to the beneficiaries: “to the point that they are conscious of their right to hold project management units and concerned ministries to account”.
      • Having qualified management teams, who will ensure that projects are implemented with efficiency, quality, meritocracy, inclusiveness and sustainability in mind.
      • Donors and steering committees have a critical role in guiding project implementation, provided that members are knowledgeable about the project and have time to add value to it, and able to critically review implementation and provide directive for improvement.
      • There is a limited use of past lessons to inform new project design. Programmes should develop and validate key lessons, innovations and good practices experienced and these should inform new design/appraisal missions and future interventions.
      • There is reluctance to stop poorly conceived projects, even when it is clear that these will not achieve their objectives.
      • Projects should have a sustainability plan and exit strategy, including hand over of interventions to existing institutions or structures that are prepared to take over the management and operationalization of project outcomes. 

      I look forward to further exchanges with the Community!

      Carlos