Steven [user:field_middlename] Lam

Steven Lam

Independent Research and Evaluation Consultant
Canada

I currently work at the International Livestock Research Institute where I am developing an international research agenda focused on testing and evaluating solutions to address global One Health challenges, including zoonoses, antimicrobial resistance, and food and water safety. I completed postdoctoral training in science policy at the Public Health Agency of Canada (2022-23; funded by Mitacs) and doctoral training in public health at the University of Guelph (2017-2022; funded by CIHR).

I also work as a research and evaluation consultant, both independently and with various consulting firms. Throughout my career, I have successfully completed 22 consulting projects centered on health and other development topics, spanning across Canada and worldwide. My particular focus lies in integrating equity and climate change considerations into program design and assessment. I explored this area during my doctoral research and am now extending these efforts in my ongoing research and practice. I am dedicated to high-quality evaluation and I hold a Credentialed Evaluator designation from Canada.

My contributions

  • How are development projects affecting the environment and how do we evaluate this impact?

    Discussion

    • Steven Lam

      Independent Research and Evaluation Consultant
      Canada

      Comment vos méthodes d'évaluation ont-elles capté l'impact des projets de développement sur l'environnement ou le changement climatique ?

      Cette question est pertinente car, bien que l'importance de l'intégration des considérations climatiques dans les programmes de développement soit de plus en plus reconnue, la manière dont ces programmes prennent en compte le changement climatique reste souvent sous-estimée.

      Un bon point de départ pour saisir de manière significative l'impact des programmes de développement sur le changement climatique dans les méthodes d'évaluation est de commencer par "intégrer" les considérations climatiques dans l'ensemble de l'évaluation. Dans un article de 2021 publié dans Global Food Security (https://doi.org/10.1016/j.gfs.2021.100509), nous avons partagé un cadre avec des questions directrices pour les différentes composantes de l'évaluation :

      Portée de l'évaluation

      a. L'introduction de l'évaluation reconnaît-elle une ou plusieurs questions liées au changement climatique ? 

      b. L'évaluation inclut-elle un objectif/une question/un critère spécifique à l'évaluation de l'adaptation au changement climatique, de l'atténuation et/ou des impacts ?

      Approche de l'évaluation

      a. L'adaptation au changement climatique, son atténuation et/ou ses impacts sont-ils mentionnés dans la théorie, la méthodologie, les méthodes et/ou l'analyse de l'évaluation ?

      Résultats de l'évaluation

      a. La section consacrée aux résultats fournit-elle des informations sur l'adaptation au changement climatique, l'atténuation de ses effets et/ou ses impacts ?

      b. La conclusion fournit-elle des informations sur l'adaptation au changement climatique, son atténuation et/ou ses incidences ?

      c. Existe-t-il des recommandations spécifiques concernant l'adaptation au changement climatique, l'atténuation de ses effets et/ou ses impacts ?

      Quels sont les indicateurs que vous avez jugés les plus efficaces pour mesurer les améliorations ou les changements dans l'environnement/le changement climatique, ainsi que les contributions à l'amélioration de l'atténuation et de l'adaptation ? Les niveaux d'émission ? Les mesures de résilience ? Le financement de la lutte contre le changement climatique ? Produits d'assurance mis à disposition ? Ou autres ?

      Dans l'étude susmentionnée, nous avons également appliqué le cadre pour examiner les évaluations des agences des Nations unies travaillant dans le domaine de l'alimentation et de l'agriculture (par exemple, la FAO, le PAM, le FIDA, l'UNICEF, le PNUE, le PNUD) et nous avons constaté que de nombreuses approches et indicateurs différents étaient utilisés. Par exemple, le FIDA a défini un nouveau critère d'adaptation dans un manuel d'évaluation mis à jour (2016) comme suit : "La contribution du projet à la réduction des impacts négatifs du changement climatique grâce à des mesures d'adaptation ou de réduction des risques. Le FIDA a également proposé des questions fondamentales pour guider l'évaluation, telles que : "Dans quelle mesure le programme a-t-il démontré une prise de conscience et une analyse des risques (climatiques) actuels ?".

      Il est important de noter que l'intégration du climat dans la planification et l'évaluation des programmes n'est pas à la hauteur du besoin urgent d'action climatique. Dans un article actuellement sous presse dans WIREs Climate Change intitulé "Greener through gender : What climate mainstreaming can learn from gender mainstreaming" (doi : 10.1002/wcc.887), nous tirons les leçons de l'intégration du genre pour accélérer les progrès de l'intégration du climat, en nous appuyant sur un examen des pratiques d'intégration des agences des Nations unies mentionnées ci-dessus (à suivre !).

      Steven

  • Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    Discussion

    • Steven Lam

      Independent Research and Evaluation Consultant
      Canada

      Bonjour à tous,

      Cette discussion me rappelle les débats sur la recherche qualitative et quantitative. La recherche qualitative part du principe que la position du chercheur - en tant que principal instrument de recherche - a un impact sur tous les aspects de la recherche. La recherche quantitative est perçue comme étant neutre/impartiale, bien que le chercheur puisse choisir les questions à poser, les personnes à interroger, les endroits où chercher, etc. Plutôt que de s'efforcer d'établir des principes qui n'existent pas vraiment dans l'évaluation, je pense qu'il est plus fructueux d'être conscient de la façon dont les identités, les expériences et les intérêts des évaluateurs et des clients sont entrelacés dans l'évaluation. Lors de la conception de l'évaluation, posez-vous la question suivante : quels intérêts l'évaluation sert-elle ? A qui demandons-nous (pas) ? De quelle manière influençons-nous le processus d'évaluation ? Les données seront-elles convaincantes ? Cette prise de conscience peut conduire à une planification qui aboutit à des évaluations plus solides et plus crédibles.

       

  • Are you considering social and environmental criteria in your evaluations?

    Discussion

    • Steven Lam

      Independent Research and Evaluation Consultant
      Canada

      Bonjour Serge et tous,

      Oui, j'essaie d'intégrer ces thèmes dans toutes les évaluations. Les clients sont souvent très ouverts à l'idée de savoir " pour qui " leurs programmes fonctionnent. Ces informations les aident à savoir si leur programme soutient différents groupes de personnes.

      En ce qui concerne l'environnement, il y a souvent un peu d'hésitation au début, car le lien entre les activités du programme et les implications environnementales peut être flou. Il se pourrait même qu'il n'y ait pas d'implications. Mais le fait de poser des questions sur l'environnement fournit un point de départ à la discussion.

      Comme l'a noté Silva, de nombreux efforts ont été déployés pour promouvoir la mesure des impacts sociaux. Le système de l'ONU le fait généralement en utilisant une optique de droits de l'homme et d'égalité des sexes (voir les lignes directrices éthiques de l'UNEG 2008 et l'UN-SWAP 2006). De nombreuses agences de l'ONU soulignent également cette nécessité dans leurs politiques d'évaluation.

      De même, il existe de nombreuses directives pour intégrer les considérations relatives à l'environnement et au changement climatique dans les programmes et les politiques (le PNUD a fait un inventaire en 2010). Les agences de l'ONU abordent généralement ce thème dans les documents d'orientation sur l'évaluation.

      Bien qu'il serait utile que les termes de référence posent des questions sur les impacts sociaux et environnementaux des programmes et qu'ils soient prévus dans le budget, je suis d'accord avec Silva pour dire que nous devrions plaider en faveur de ces éléments s'ils ne sont pas présents.

      L'un des défis auxquels j'ai été confronté au départ était de me demander "comment faire ?". Je suis en train de terminer ma thèse axée sur la réponse à cette question. En examinant les évaluations antérieures des programmes de sécurité alimentaire, j'ai trouvé de nombreuses preuves nous montrant comment, pourquoi et dans quel contexte nous devrions intégrer ces thèmes.

      Nous devrions nous engager dans les développements méthodologiques de la littérature et les essayer. Posez des questions telles que : comment les différents groupes vivent-ils ce programme ? Et comment le changement climatique a-t-il affecté les expériences des gens ? Partagez votre processus et vos apprentissages.

      Les évaluations peuvent jouer un rôle dans la promotion de l'équité et de la durabilité environnementale, et nous devons le faire.

      Steven

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Steven Lam

      Independent Research and Evaluation Consultant
      Canada

      Récemment, j'ai été aux prises avec une série de questions similaires, alors merci, Carlos, de les avoir posées. En me basant sur mon expérience dans l'organisation de plusieurs ateliers TdC, je dirais que c’est une approche utile de l'évaluation. La valeur est réalisée principalement dans son processus, de rassembler les participants de diverses disciplines et secteurs, de co-cartographier les changements des systèmes, d'identifier les domaines où le programme pourrait influencer les voies de changement et de mettre en évidence les domaines prioritaires pour le suivi. Cependant, un contexte important est que beaucoup de ces participants n'ont jamais entendu parler de TdC auparavant (et cela n'aide pas que TdC ne traduise pas bien dans différentes langues), donc une certaine valeur pourrait être attribuée à sa nouveauté. Quoi qu'il en soit, alors que d'autres outils de planification auraient peut-être également été appropriés, je trouve que les TdC sont particulièrement utiles pour les programmes qui ont de multiples composants en interaction, des perspectives de parties prenantes diverses et une incertitude des résultats, qui sont caractéristiques de nombreuses initiatives de sécurité alimentaire aujourd'hui.