Steven [user:field_middlename] Lam

Steven Lam

Independent Research and Evaluation Consultant
Canadá

I currently work at the International Livestock Research Institute where I am developing an international research agenda focused on testing and evaluating solutions to address global One Health challenges, including zoonoses, antimicrobial resistance, and food and water safety. I completed postdoctoral training in science policy at the Public Health Agency of Canada (2022-23; funded by Mitacs) and doctoral training in public health at the University of Guelph (2017-2022; funded by CIHR).

I also work as a research and evaluation consultant, both independently and with various consulting firms. Throughout my career, I have successfully completed 22 consulting projects centered on health and other development topics, spanning across Canada and worldwide. My particular focus lies in integrating equity and climate change considerations into program design and assessment. I explored this area during my doctoral research and am now extending these efforts in my ongoing research and practice. I am dedicated to high-quality evaluation and I hold a Credentialed Evaluator designation from Canada.

My contributions

    • Hola Amy y a todos,

      Para responder a la pregunta 2 sobre cómo facilitar el uso de los análisis de evaluabilidad, me parece útil hacer un análisis de evaluabilidad sin llamarlo análisis de evaluabilidad, dada la política de la «evaluabilidad». Lo conceptualizo como una actividad para preparar los programas para la evaluación más que para determinar la «evaluabilidad». Esto significa asegurarse de que los vínculos en la teoría del cambio del programa son lógicos, que los resultados propuestos son posibles, etc. Este enfoque de la evaluación de la evaluabilidad es más bien un proceso integrado en la planificación y evaluación de programas en general y, como tal, no suele dar lugar a un resultado independiente.

      Hace unos años, mi colega y yo revisamos marcos de evaluabilidad y estudios de casos, que podrían aportar más información sobre otras lagunas y oportunidades.

      Lam S, Skinner K. (2021). The use of evaluability assessments in improving future evaluations: a scoping review of 10 years of literature (2008-2018). American Journal of Evaluation. 42(4): 523-540.

      Best,

      Steven

       

    • ¿Cómo han captado sus métodos de evaluación el impacto de los proyectos de desarrollo en el medio ambiente o el cambio climático?

      Se trata de una pregunta oportuna porque, aunque cada vez se reconoce más la importancia de integrar las consideraciones climáticas en los programas de desarrollo, a menudo se pasa por alto la forma en que dichos programas tienen en cuenta el cambio climático.

      Un buen punto de partida para captar de forma significativa el impacto de los programas de desarrollo sobre el cambio climático en los métodos de evaluación es, en primer lugar, "incorporar" o integrar las consideraciones climáticas en toda la evaluación. En un documento de 2021 publicado en Global Food Security (https://doi.org/10.1016/j.gfs.2021.100509) compartimos un marco con preguntas orientativas para diferentes componentes de la evaluación:

      Alcance de la evaluación

      a. ¿Reconoce la introducción de la evaluación alguna cuestión relacionada con el cambio climático? 

      b. ¿Incluye la evaluación un objetivo/pregunta/criterio específico para la evaluación de la adaptación, mitigación y/o impactos del cambio climático?

      Enfoque de la evaluación

      a. ¿Se menciona la adaptación al cambio climático, su mitigación y/o sus impactos en la teoría, metodología, métodos y/o análisis de la evaluación?

      Resultados de la evaluación

      a. ¿Proporciona la sección de resultados información sobre la adaptación al cambio climático, la mitigación y/o los impactos?

      b. ¿La conclusión proporciona información sobre la adaptación al cambio climático, su mitigación y/o sus efectos?

      c. ¿Existen recomendaciones específicas para abordar la adaptación al cambio climático, su mitigación y/o sus impactos?

      ¿Qué indicadores le han parecido más eficaces para medir las mejoras o los cambios en el medio ambiente/cambio climático, así como las contribuciones a la mejora de la mitigación y la adaptación? ¿Niveles de emisión? ¿Medidas de resiliencia? ¿Consecución de financiación para el clima? ¿Productos de seguros disponibles? ¿u otros?

      En el estudio mencionado, también aplicamos el marco para examinar las evaluaciones de los organismos de las Naciones Unidas que trabajan en la alimentación y la agricultura (por ejemplo, la FAO, el PMA, el FIDA, el UNICEF, el PNUMA y el PNUD) y encontramos muchos enfoques e indicadores diferentes utilizados. Por ejemplo, el FIDA definió un nuevo criterio de adaptación en un manual de evaluación actualizado (2016) como: "La contribución del proyecto a la reducción de los impactos negativos del cambio climático a través de medidas específicas de adaptación o reducción de riesgos". El FIDA también ofreció preguntas básicas para orientar la evaluación como: "¿En qué medida el programa demostró conciencia y análisis de los riesgos (climáticos) actuales?".

      Es importante señalar que la integración del clima en la planificación y evaluación de programas no está a la altura de la urgente necesidad de acción climática. En un artículo actualmente en prensa en WIREs Climate Change titulado "Greener through gender: What climate mainstreaming can learn from gender mainstreaming" (doi: 10.1002/wcc.887), aprovechamos las enseñanzas de la integración de la perspectiva de género para acelerar los avances en la integración del clima, basándonos en un examen de las prácticas de integración de los organismos de la ONU antes mencionados (¡estén atentos!).

      Steven

       

    • Hola a todos,

      Esta discusión me recuerda los debates sobre la investigación cualitativa y cuantitativa. La investigación cualitativa supone que la posición del investigador -como instrumento principal de la investigación- influye en todos los aspectos de la misma. La investigación cuantitativa se considera neutral/imparcial, aunque el investigador puede elegir qué preguntas hacer, a quién entrevistar, dónde buscar, etc. En lugar de tratar de establecer principios que realmente no existen en la evaluación, creo que es más fructífero ser consciente de cómo se entrelazan en la evaluación las identidades, experiencias e intereses de los evaluadores y los clientes. Al diseñar la evaluación, pregúntese: ¿a qué intereses sirve la evaluación? ¿A quién (no) preguntamos? ¿Cómo estamos influyendo en el proceso de evaluación? ¿Serán convincentes los datos? Esta toma de conciencia puede conducir a una planificación que dé lugar a evaluaciones más sólidas y creíbles.

       

    • Hola Serge y todos,

      Sí, intento integrar estos temas en todas las evaluaciones. Los clientes suelen estar muy dispuestos a saber "para quién" funcionan sus programas. Esta información les ayuda a saber si su programa apoya a diferentes grupos de personas.

      En cuanto al medio ambiente, suele haber un poco de dudas al principio, ya que la relación entre las actividades del programa y las implicaciones medioambientales puede ser difusa. Puede ser que no haya implicaciones. Pero preguntar por el medio ambiente proporciona un punto de partida para el debate.

      Como señaló Silva, ha habido muchos esfuerzos para promover la medición de los impactos sociales. El sistema de las Naciones Unidas suele hacerlo utilizando una perspectiva de derechos humanos e igualdad de género (véanse las Directrices Éticas del UNEG de 2008 y el UN-SWAP de 2006). Muchas agencias de la ONU también destacan esta necesidad en sus políticas de evaluación.

      Del mismo modo, hay muchas directrices para integrar las consideraciones medioambientales y de cambio climático en los programas y políticas (el PNUD hizo un balance en 2010). Los organismos de las Naciones Unidas suelen hablar de este tema en los documentos de orientación para la evaluación.

      Aunque ayudaría que los términos de referencia pidieran y presupuestaran preguntas sobre los impactos sociales y medioambientales de la programación, estoy de acuerdo con Silva en que debemos abogar por ellos si estos elementos no están presentes.

      Un reto al que me enfrenté inicialmente fue "bueno, ¿cómo hacemos esto?". Actualmente estoy terminando mi disertación centrada en responder a esta pregunta. Examinando evaluaciones anteriores de programas de seguridad alimentaria, estoy encontrando muchas pruebas que nos muestran cómo, por qué y en qué contexto debemos integrar estos temas.

      Deberíamos comprometernos con los desarrollos metodológicos de la literatura y probarlos. Hacer preguntas como: ¿cómo experimentan los diferentes grupos este programa? ¿Y cómo ha afectado el cambio climático a las experiencias de las personas? Comparta su proceso y sus aprendizajes.

      Las evaluaciones pueden jugar a favor de la equidad y la sostenibilidad medioambiental, y debemos hacerlo.

      Steven

    • Recientemente he estado lidiando con un conjunto similar de preguntas, así que gracias, Carlos, por plantearlas. Basándome en mi experiencia en la facilitación de varios talleres de TdC, diría que es un enfoque útil para la evaluación. El valor se realiza principalmente en su proceso, de reunir a participantes de diversas disciplinas y sectores, de cambiar los sistemas de correlación, de identificar áreas donde el programa podría influir en las vías de cambio y de resaltar áreas prioritarias para el monitoreo. Sin embargo, un contexto importante es que muchos de estos participantes nunca antes habían oído hablar de TdC (y no ayuda que TdC no se traduzca bien en diferentes idiomas), por lo que podría atribuirse algún valor a su novedad. De todos modos, aunque otras herramientas de planificación también podrían haber sido apropiadas, considero que las TdC son particularmente útiles para los programas que tienen múltiples componentes interactivos, diversas perspectivas de las partes interesadas e incertidumbre en los resultados, que son característicos de muchas iniciativas de seguridad alimentaria en la actualidad.