Carlos [user:field_middlename] Tarazona

Carlos Tarazona

Senior Evaluation Officer
FAO
Italia

My contributions

  • Better together: Reflections for EvalForward from Rome-based agencies on the 15th EES Conference

    Blog

    El mes pasado, profesionales y usuarios de evaluación se reunieron en Rímini para la 15ª Conferencia Bienal de la Sociedad Europea de Evaluación (EES), titulada "Mejor juntos 2024: pensamiento y acción colaborativos para una mejor evaluación". Los miembros de las agencias de Naciones Unidas con sede en Roma, que lideran EvalForward, reflexionaron sobre las principales conclusiones de la conferencia para fortalecer nuestra práctica de evaluación y mejorar así el aprendizaje y la toma de decisiones.

    ©EES24

    Conclusión 1: “El conocimiento sólo es poderoso cuando se comparte” destaca la importancia de las redes y las comunidades de práctica (CoP)

    Escrito por

  • Evaluability Assessments: An invitation to reflect and discuss

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Buenos días, Amy,

      Gracias por iniciar este valioso intercambio. Me gustaría compartir mi experiencia en la evaluación de la evaluabilidad de los programas de la FAO. Por lo general, el objetivo ha sido determinar si se está preparado para evaluar el trabajo de la FAO en un área determinada y/o informar la toma de decisiones sobre los planes de evaluación de la FAO.

      Por ejemplo, el análisis de evaluabilidad del programa de reducción de la pobreza rural de la FAO (disponible en https://openknowledge.fao.org/server/api/core/bitstreams/161ba76c-daea-...) fue decisivo para determinar qué componentes del programa de la FAO eran viables y merecían ser evaluados para obtener resultados. Con este objetivo en mente, el análisis de evaluabilidad examinó la claridad de la lógica del programa y el grado de realización de las actividades previstas y de utilización de los recursos, y dio lugar a propuestas sobre el alcance, el enfoque, el diseño metodológico y el plan de trabajo de la evaluación.

      Más recientemente, utilizamos los análisis de evaluabilidad para decidir qué evaluaciones realizar y definir su alcance, objetivos y enfoque. Esta evolución está en consonancia con nuestra estrategia a medio plazo que pretende garantizar que la La Oficina de Evaluación produzca evaluaciones de alta calidad que satisfagan las necesidades de las partes interesadas de la FAO (https://www.fao.org/evaluation/highlights/detail/fao-evaluation-strateg...)  

      Saludos cordiales

      Carlos

       

  • Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    Discussion

  • How do we adapt our evaluation approach to the impact of the Covid-19 pandemic?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Estimado Nick,

      Gracias por su muy interesante post, y por compartir su experiencia en la lucha con este desafío. Deseo compartir un par de pensamientos, de mi papel como evaluador y como comisionado de evaluaciones.

      A corto plazo, me pregunto el valor que las partes interesadas pueden dar a las evaluaciones realizadas a distancia y, a medio plazo, la amenaza que esto supone para la evaluación como profesión.

      ¿Cuál es el valor añadido de una evaluación que se realiza desde la distancia? En un par de evaluaciones en curso con grandes componentes de campo nos enfrentamos a algunas cuestiones cuya consecuencia no debemos subestimar, ya que podrían reducir la credibilidad de todo el ejercicio (incapacidad para observar los cambios de primera mano, confiar en el evaluador para seleccionar quién participa y quién no, limita a la triangulación con los beneficiarios y socios locales, etc.) y poner a nuestros equipos en peligro de ser desafiados en caso de que se les presenten hallazgos negativos o erróneos, si no inexactos.

      Entonces, la evaluación como profesión: si estamos haciendo las cosas desde la distancia y sin triangulación creíble y participación ascendente, ¿qué nos hace diferentes de aquellos que hacen revisiones o auditoría de desempeño? Si abogamos por las evaluaciones a distancia, y los colegas/socios se dan cuenta de que estos se pueden hacer de manera barata y no rigurosa, podemos tener problemas en el futuro i) la venta de la evaluación como una herramienta distintiva y verdaderamente de aprendizaje, y ii) obtener provisiones/presupuestos de evaluación adecuados.

      Vinculado a esto, el imperativo moral para los evaluadores de no hacer daño. En vista de todas las incógnitas que trae esta pandemia, es nuestro deber no poner en riesgo a más personas, ni a los evaluadores locales ni a los beneficiarios. Tratar de posponer las evaluaciones si es posible, al menos hasta que se haga más claro lo que podríamos hacer con seguridad en el campo y lo que no podemos, será simplemente una cosa justa y ética.

      Saludos

      Carlos

  • How useful are theories of change in development programmes and projects?

    Blog

    Hoy en día, muchos donantes, agencias gubernamentales y ONG promueven su uso como una forma de garantizar que sus actividades cotidianas estén alineadas con sus objetivos finales.

    Planteé este tema a la comunidad y pregunté a los miembros sobre su experiencia en el uso de las teorías del cambio y cuál consideran es su principal valor añadido. Varios miembros compartieron sus experiencias y propusieron ideas -algunas de las cuales se enumeran a continuación- para asegurar un uso adecuado de las TdC:

    • Las TdC añaden valor cuando son generadas -de manera conjunta y participativa- por directores de proyecto, expertos técnicos, encargados

    Escrito por

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Thank you Jackie and Richard, and all the previous commenters! It has been an interesting discussion, with so many different points of view and insights. We will soon be wrapping this up and summarize the learning in an Evalforward's blog. Keep an eye on it!

      Best to all,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Estimados colegas,

      Quería plantear un aspecto que aparentemente se ha convertido en un procedimiento estándar al hacer las Teorias del Cambio: muchos colegas han dicho que usan esta herramienta en gran medida para el diseño / implementación / evaluación de programas. Sin embargo, la literatura sugiere que "las Teorías de Cambio pueden comenzar con un programa, pero son mejores cuando se comienza con una meta, antes de decidir qué enfoques programáticos son necesarios". (Ver presentación de AEA compartida en un commentario anterior)

      Por lo tanto, el punto de partida para las TdC debería ser idealmente objetivos de desarrollo / humanitarios en un tema particular (reducción de la pobreza / hambre, adaptación al cambio climático, desarrollo rural, empoderamiento de las mujeres, salvar vidas) que han sido identificados por las partes interesadas clave (generalmente el Gobierno, ya que representarnos a todos, o actores humanitarios en su ausencia) para un área geográfica dada (país, estado / región, provincia, distrito), y no el objetivo específico del programa (o proyecto).

      Como ejemplo de esto, en una evaluación reciente de las contribuciones de la FAO al desarrollo del sector agroalimentario en México (http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c/1202316 ), utilizamos las teorías de cambio del gobierno mexicano para mapear y luego evaluar las contribuciones de la FAO. El gobierno mexicano (miembro de la OCDE) tenía por ley que desarrollar teorías de cambio a diferentes niveles temáticos y geográficos (nacional / estatal) como parte de su planificación a largo plazo (planes nacionales de desarrollo) y mediano plazo (estrategias y programas) proceso, a menudo con asesoramiento CONEVAL (https://www.coneval.org.mx/Paginas/principal.aspx ). Esto, junto con el hecho de que la FAO había planeado su programa de trabajo de acuerdo con las teorías de cambio de los mexicanos, permitió que la evaluación evaluara las contribuciones de la FAO en relación con estos marcos.

      Me preguntaba si otros colegas han experimentado el desarrollo de ToC con objetivos de desarrollo / humanitarios acordados localmente / propios como punto de partida (y no el objetivo específico de la agencia de financiación en mente), y si piensan que este es un camino factible en sus propios países / agencias.

      Atentamente

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Estimado Elamin,

      Gracias por tu pregunta. Hace unos años, la American Evaluation Association tuvo una discusión sobre este tema (ToC vs Logic Models). A continuación hay un enlace a la presentación realizada por Helene Clark (El Centro de Teoría del Cambio) durante esta sesión https://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/TOCs_and_Logic_Models_forAEA.pdf

      Atentamente,

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Estimados colegas,

      Gracias por sus contribuciones muy interesantes. Si alguien pudiera contribuir con ejemplos específicos de aplicación de la TdC, ya sea en los países en desarrollo o en los países desarrollados, y destacar cómo esto era útil para el programa que se estaba evaluando, sería genial.

  • Using synthesis and meta-analysis in development evaluation

    Blog

    Prospective users of such information, however, have become less capable to take full account of this development, in part due to lack of time and capacities to absorb all the information. Decision-makers in particular demand and expect from researchers and evaluators to provide them with products to facilitate the uptake of such knowledge. Evaluation synthesis can fill this gap by building on findings from different sources to get a better understanding of the effectiveness of a program or policy. 

     A synthesis is the integration of existing knowledge and findings relevant to a topic, and has as its main objective to

    Escrito por

  • Using synthesis and meta-analysis to make the most of evaluative evidence: what is your experience?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Dear Malika,

      Thanks for sharing your experience with document analysis. It is indeed a great way to have early insights into the effectiveness of a programme or policy, although -depending on the amount of materials for review- it could also be a very demanding task.

      You raised a very good point regarding the issue of accessibility to documents. With the advent of the internet it is assumed that information is becoming globally available, while digitalization is making reports and research more and more accessible through online means. 

      What is the perspective in the global south? Are government (evaluation) reports and research from academia easier to access? Are they available in a format and language that make them suitable for synthesis and meta-analysis?

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Dear All,

      A colleague has shared with me a link to a series of synthesis reports of impact assessments on various agricultural topics done by the CGIAR:

      https://ispc.cgiar.org/publications/all?keywords=&year=All&type=1571&workstream=1568

      Hope you find it useful too!

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Dear Olivier and Lal,

      Thank you very much for your contributions.

      Regarding a definition of synthesis (or synthetic approach), for the purpose of this discussion, we can define it as the process of reviewing, assessing and synthesising existing literature or data to produce a series of outputs (products and services).

      A first step in this process is to review the quality of the literature or data that will be aggregated to ensure that is comparable and meet the research protocol requirements. Afterwards, the synthesis is conducted often by academic disciplinary experts, but can also be done by inter- or transdisciplinary working groups or evaluators drawing on knowledge from across academia and beyond, the latter to ensure a comprehensive analysis and avoid the pitfals raised by Lal.

      There are many guidelines out there on how to conduct synthesis reviews, especially in the areas of health and education. Perhaps the ones better know and applied in the field of agriculture and rural development are those developed by 3IE and Campbell Collaboration, accessible at this link: https://www.3ieimpact.org/our-expertise/synthesis

      Best regards,

       

      Carlos

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Dear Members,

      Thanks to those who contributed to the discussion on the use of synthesis and meta-analysis in development evaluation. The exchange supported my preparation for the What Works Global Summit 2019 (wwgs2019.org), where synthesis and meta-analyses are discussed as tools for designing, implementing and assessing programmes and policies. A synthesis is the integration of existing knowledge and findings relevant to a topic, and has as its main objective to increase the applicability of evaluation findings and develop new knowledge through the integration process. It is promoted as an approach that addresses the challenge of "information overload", delivering products that distil relevant evidence for decision-making.

      Here are the main issues shared by participants: 

      • Synthesis work needs to be focused and pragmatic in order to attain its goal.
      • Evaluation documents needs to be easily available, and the researchers need to interact with key stakeholders throughout the preparation process.
      • Meta-analyses of evaluations allows the identification of structural themes that affect performance, which is of interest to donors and programme managers.
      • A more holistic approach is required to enhance the engagement and outreach of the learning, i.e. by organizing dedicated workshops to discuss the findings of the evaluation synthesis.
      • Meta-analysis can provide very valuable insights on the performance of a programme or approach, and guide primary data collection. It can however be very time-consuming and thus not always feasible to undertake within the timeframe of an evaluation.
      • Meta-analysis can be an important tool for decision-makers but is not well known among evaluators. More training on its usage could help broadening awareness and application of the approach.

      Taking on this last point, EvalForward will organize a webinar soon for members interested in learning more on synthesis and meta-analysis. Stay tuned!

      Carlos

  • How can we improve the quality of development projects?

    Blog

    When evaluating projects, we identify issues that affect their effectiveness and note that these often originate from flaws at design and/or implementation stages.

    In early July, I raised this topic with the Community and asked which good practices members would recommend to governments, donors, international organizations and non-governmental organizations to improve project effectiveness.

    Several members shared suggestions and ideas for ensuring high-quality projects, such as the following:

    • Quality projects should clearly contribute to a bigger developmental impact of the country.
    • Projects should have clear objectives, milestones and monitoring of deliverables.
    • Commitment and ownership by the government is key; this goes

    Escrito por

  • What can we do to improve the quality of development projects?

    Discussion

    • Carlos Tarazona

      Senior Evaluation Officer FAO
      Italia

      Dear members,

      Thanks to all of you for contributing to this discussion. 

      Here is a summary of the suggestions and ideas shared:

      • Quality projects should clearly contribute to a bigger developmental impact of the country.
      • Projects should have clear objectives, milestones and monitoring of deliverables.
      • Commitment and ownership by the government is key; this goes beyond the signing of the financial agreement and includes the actual commitment of human and financial resources.
      • Participation of beneficiaries since the design stage can help in ensuring that the project address a problem that is relevant to them. 
      • Projects should be relevant to the beneficiaries: “to the point that they are conscious of their right to hold project management units and concerned ministries to account”.
      • Having qualified management teams, who will ensure that projects are implemented with efficiency, quality, meritocracy, inclusiveness and sustainability in mind.
      • Donors and steering committees have a critical role in guiding project implementation, provided that members are knowledgeable about the project and have time to add value to it, and able to critically review implementation and provide directive for improvement.
      • There is a limited use of past lessons to inform new project design. Programmes should develop and validate key lessons, innovations and good practices experienced and these should inform new design/appraisal missions and future interventions.
      • There is reluctance to stop poorly conceived projects, even when it is clear that these will not achieve their objectives.
      • Projects should have a sustainability plan and exit strategy, including hand over of interventions to existing institutions or structures that are prepared to take over the management and operationalization of project outcomes. 

      I look forward to further exchanges with the Community!

      Carlos