I am a social anthropologist with extensive experience (22-years) in the field of development cooperation and 10-years of experience in Monitoring and Evaluation. I have consolidated skills in i) Formative and summative mid-term, terminal, and impact evaluations (thematic and strategic evaluations, project and programme evaluations); ii) Design and implementation of project-related M&E Frameworks; iii) Capacity development on Monitoring, Evaluation, Accountability and Learning (MEAL) issues; iv) Ex-ante evaluation of project proposals. These assignments have been carried out on behalf of the Food and Agriculture Organization of the United Nations (FAO), the European Commission (DG DEVCO, DG NEAR - ENPI and ENI CBCMED), the French Agency of International Cooperation (AFD), the International Labour Organization (ILO), the Italian Ministry of Foreign Affairs and the Italian Agency for Development Cooperation (AICS), several NGOs (Ricerca e Cooperazione, Mani Tese, Volontariato Internationale per lo Sviluppo, amog others) and consultancies (ARS Progetti, ADE, Eptisa, Agristudio).
I have been both team leader and team member of several evaluation assignments in Sub-Saharan Africa, the Middle East and North Africa, South Asia and Latin America.
Natascia [user:field_middlename] Palmieri
Natascia Palmieri
Evaluation consultant
Free lance
Italia
Natascia Palmieri
Evaluation consultant Free lanceEstimados todos,
Aprecio las Directrices de Evaluación del CGIAR como marco de referencia que proporciona ideas, herramientas y orientación sobre cómo evaluar la calidad de la ciencia, incluso en el contexto de proyectos de desarrollo que incluyen componentes científicos y de investigación. Esta es específicamente mi perspectiva, como evaluadora de proyectos de desarrollo que pueden incluir componentes de investigación o el desarrollo de herramientas científicas para mejorar la eficacia del proyecto en los sectores agrícolas. Hago constar de antemano que no he analizado a fondo las directrices y los documentos conexos y que soy ajeno al CGIAR. Sin embargo, creo que las directrices son una contribución importante.
A falta de directrices similares para evaluar la calidad de la investigación y la ciencia, me doy cuenta de que mi análisis anterior estuvo algo disperso entre los 6 criterios del CAD de la OCDE, aunque abarcaba la mayoría de las dimensiones incluidas en las directrices. En el criterio de pertinencia, por ejemplo, analicé la justificación y el valor añadido de los productos científicos y la calidad de su diseño; así como el grado de "codiseño" con las partes interesadas locales, que las directrices enmarcan como "legitimidad", dentro del criterio de calidad de servicio. En cuanto a la eficiencia, analicé la adecuación de las aportaciones de la investigación, la entrega puntual de los resultados de la investigación, las sinergias internas entre las actividades de investigación y otros componentes del proyecto, y la rentabilidad de los productos científicos. La mayor parte del análisis se centró en la eficacia y utilidad de las herramientas científicas desarrolladas y en la sostenibilidad potencial de los resultados de la investigación. El análisis de la "credibilidad científica" resultó más complicado, ya que el equipo de evaluación no contaba con expertos en la materia. Este concepto se analizó principalmente a partir de las percepciones de las partes interesadas mediante herramientas cualitativas de recopilación de datos. Además, es poco probable que la validación científica de la investigación y las herramientas científicas se consiga dentro de la duración común del proyecto de 3 años. Por lo tanto, pueden realizarse evaluaciones antes de que se produzca la validación científica. Las cuatro dimensiones de las directrices son suficientemente claras y útiles como hilo conductor para elaborar preguntas de evaluación. Yo sólo me centraría más en conceptos como la "utilidad" de las herramientas científicas desarrolladas desde la perspectiva de los beneficiarios finales del proyecto; la "asimilación" de los resultados científicos entregados por las partes interesadas implicadas y los "beneficios" derivados de la investigación y/o las herramientas científicas desarrolladas. En el marco de los proyectos de desarrollo, los componentes científicos suelen estar bastante aislados de otras actividades del proyecto, con pocas sinergias internas. Además, la asimilación de los productos científicos y la reproducción de los resultados suele ser un problema. Creo que es algo en lo que hay que centrarse claramente mediante preguntas de evaluación adecuadas. Por ejemplo, las preguntas de evaluación de la calidad de la ciencia (sección 3.2) no se centran lo suficiente en estos aspectos. EQ3 se centra en cómo los resultados de la investigación contribuyen al avance de la ciencia, pero no en cómo los resultados de la investigación contribuyen a los objetivos de desarrollo, cuál es la aplicación de los resultados de la investigación sobre el terreno o dentro del desarrollo de políticas, cuál es el impacto de los resultados entregados, lo que, en mi opinión, merece una mayor atención y herramientas y orientaciones prácticas. Además de esto, que se basa en mi lectura incipiente de las directrices, pondré a prueba la aplicación de las directrices en las próximas evaluaciones, en caso de que el evaluando incluya componentes de investigación. Esto ayudará a afinar la operacionalización de las directrices a través de la experiencia práctica.