Cristian [user:field_middlename] Maneiro

Cristian Maneiro

Senior Consultant
Maestral International, PLAN Eval
Uruguay

Evaluation specialist with over ten years of experience, both conducting and commissioning evaluations for UN Agencies and International Organizations. Regional work experience in Latin American and African countries. MA degree in Sociology and post graduate diploma in Public Policy and Evaluation, along with several short courses taken in development economics, research methods and softwares. Spanish native speaker, fluent in English and Portuguese with working knowledge of French.

My contributions

  • Management matters: exploring the link between management models and the use of evaluations

    Discussion

    • Cristian Maneiro

      Senior Consultant Maestral International, PLAN Eval
      Uruguay

      Hello Colleagues,

      Greetings from Uruguay!

      Thank you, Ibtissem, for bringing up this intriguing topic. Having experienced both sides of the evaluation process (commissioning evaluations for WFP and conducting as independent consultant for UNICEF and UNFPA), I completely agree that the Evaluation Manager plays a pivotal role and bears significant responsibility for ensuring the quality of the evaluation results, which ultimately determines their usefulness.

      Building on what other colleagues have already mentioned, I'd like to offer a couple of additional points that haven't been raised yet on the EM support and its role on Evaluation:

      Ideally, the EM shouldn't shoulder the entire burden alone. It's advantageous for them to be supported by at least one Evaluation Analyst. This team composition mimics the structure of an external evaluation team and facilitates smoother communication and coordination. Evaluation Analysts can handle bilateral meetings with data analysts or other external evaluation team members, allowing the EM to focus on overseeing the calendar, meeting deadlines, and making high-level decisions in consultation with the team leader.


      Furthermore, it's important to acknowledge that when discussing evaluation independence, we often assume we're referring to external evaluations. However, certain evaluation approaches, (e.g  Developmental Evaluation), emphasize a more formative focus. In these cases, the Evaluation Manager's involvement as an integral part of the program being evaluated is essential. This approach fosters greater ownership and promotes internal learning within the organization.

      Thanks and  Best Regards,

       

       

  • Artificial intelligence in the context of evaluation

    Discussion

    • Cristian Maneiro

      Senior Consultant Maestral International, PLAN Eval
      Uruguay

      Salutations, chers collègues,

      Je vous remercie, Muriel, d'avoir abordé ce sujet et j'apprécie toutes les contributions. Je pense que l'IA présente des aspects prometteurs pour les évaluateurs, et il est essentiel que nous en soyons conscients. Personnellement, la perspective d'effectuer des analyses quantitatives rapides et interactives sans avoir besoin d'une expertise dans un logiciel de codage (par exemple, R ou Python) changerait la donne pour des professionnels comme moi qui ont une formation en sciences humaines.

      En outre, la possibilité de résumer des textes bruts volumineux, tels que des entretiens ou des transcriptions de discussions de groupe, et de faciliter l'analyse précise des points clés, pourrait permettre de gagner un temps considérable. Toutefois, il est essentiel de souligner que l'expérience de l'évaluateur, sa connaissance préalable du domaine, les points de vue des parties prenantes et le sens de la finalité de l'évaluation continueront d'être cruciaux et appréciés.

      En outre, les dilemmes éthiques et les décisions relatives à la présentation des résultats ne seront pas résolus par l'IA, quelle que soit sa puissance.

      J'aimerais beaucoup voir des exemples d'IA utilisée dans des approches quantitatives et qualitatives.

  • How are mixed methods used in programme evaluation?

    Discussion

    • Cristian Maneiro

      Senior Consultant Maestral International, PLAN Eval
      Uruguay

      Chers collègues :

      Je vous salue depuis l'Uruguay !

      Je pense que la discussion lancée par Jean est très pertinente. Les méthodes mixtes sont sans aucun doute une stratégie puissante pour aborder un objet d'évaluation sous différents angles, et c'est presque une pratique standard dans la plupart des termes de référence d'évaluation (TDR) que l'on voit actuellement, que ce soit pour les agences des Nations Unies ou d'autres.

      Cependant, je reconnais que le terme devient parfois un cliché et qu'il est utilisé sans se demander si une stratégie de méthodes mixtes est réellement la plus appropriée. On part du principe que différentes techniques (généralement des entretiens avec des informateurs clés et des enquêtes) fourniront des informations complémentaires, mais les commanditaires n'ont souvent pas d'idée claire sur la manière dont ces informations seront intégrées et triangulées. À mon avis, les cas réussis sont ceux où le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées de manière séquentielle (par exemple, en organisant des groupes de discussion pour définir les questions de l'enquête ou en sélectionnant des cas basés sur une enquête pour des entretiens approfondis).

      En outre, je comprends qu'avec les développements technologiques actuels, les méthodes mixtes ont de nouvelles potentialités. Il ne s'agit plus seulement de la combinaison typique d'entretiens avec des informateurs clés et de discussions avec des groupes cibles avec des enquêtes ; au lieu de cela, il peut s'agir d'une analyse de big data utilisant l'apprentissage automatique, l'analyse des sentiments, et bien d'autres choses encore.