Amy [user:field_middlename] Jersild

Amy Jersild

PhD Candidate and evaluation consultant
Western Michigan University
Estados Unidos de América

Nearly 25 years of experience in the international development sector as an evaluator, manager, technical advisor and educator working in partnership with donors, governments and civil society organizations in Asia, Africa and the Middle East on development effectiveness and quality programming and policies. Deeply interested in co-creative and evaluative processes that support self-determination and development that is sustainable for both people and planet. MA degree in sustainable development, and PhD candidate in interdisciplinary evaluation studies at Western Michigan University. 

Amy's development evaluation experience includes serving as:
• Doctoral Candidate, Western Michigan University, Interdisciplinary PhD program in Evaluation. Completion of degree anticipated in 2024. Research interests include meta-evaluation, and the professionalization and internationalization of evaluation. 
• Assistant Professor at SIT Graduate Institute in Washington DC, designing and teaching both graduate level theory and practice-based courses on evaluation in Washington DC, India and Jordan;
• Independent evaluator since 1997 advising international agencies and donors on social development issues and programming. Clients include FCDO, ILO, USDOL, UNDP, CGIAR, Rockefeller Foundation, and Adaptation Fund.
• Internal evaluator as Deputy Director of Quality Programming from 2008-2012 in Bangkok leading international team effort to develop M&E framework for Hewlett Packard’s flagship global entrepreneurship education program.

Active member of EvalPartners (member of EVALSDG group)
Active member of AEA (member of the International Working Group)

Managerial experience in directly negotiating with and reporting to bilateral donors (USPRM, CIDA, SDC, GIZ, AusAID), multilateral (UNICEF, World Bank), and corporate (HP, Adidas, Deutsche Bank); in coordinating with military bodies (KFOR, Kosovo); and in partnering with civil society organizations (Cambodia, Laos, Thailand, China, and India).

In-country work and living experience in Bangladesh, Cambodia, China, Japan, Kosovo, Lao PDR, Thailand, and USA; additional work experience in Egypt, Ethiopia, India, Israel, Jordan, Kenya, Nepal, Philippines, Sri Lanka, Turkey, Uganda, and Vietnam.

Mandarin Chinese proficiency; basic to intermediate skills in French, Khmer, Lao, Spanish and Thai.
 

My contributions

    • Gracias a todos por este interesante y participativo diálogo sobre los análisis de evaluabilidad. En breve publicaremos un excelente resumen de nuestro debate, redactado por Gaia Gullotta, del CGIAR. Estará disponible en inglés, español y francés.

      Saludos. 

    • Muchas gracias, Rick, por tus comentarios. Sería interesante examinar esos datos sobre las proporciones del pasado. Y sí, el tamaño del presupuesto puede ser uno de los elementos de una lista de control considerada como indicador de complejidad, pero estoy de acuerdo en que no debería ser el único para representar la complejidad, por la razón que has señalado. Tu sugerencia de representar los nodos de una red me parece lógica. Cuanto más numerosos sean los posibles vínculos causales y las fuentes de datos, mayor será la valoración, lo que puede llevar a una decisión afirmativa sobre una EA.

      Tal vez una lista de control de este tipo también podría ayudar a centrar una EA, o incluir un conjunto de elementos de seguimiento que puedan explorar inicialmente las cuatro áreas principales representadas en el diagrama de rompecabezas que ha compartido a continuación: https://mande.co.uk/wp-content/uploads/2022/05/Austria-diagram.png (contexto institucional y físico, diseño de la intervención, demanda de las partes interesadas y disponibilidad de datos). En caso necesario, una lista de control de este tipo no sólo puede orientar la decisión de realizar o no una EA, sino que también puede ayudar a centrar una EA y sus áreas prioritarias, convirtiéndola así en un ejercicio más coste-eficaz y enfocado.

      Me interesaría conocer la opinión de otras personas de este foro que gestionen evaluaciones o EA. ¿Cómo deciden en su organización si realizar o no una EA? ¿Y cómo se toman las decisiones sobre cómo enfocar una EA?

      Saludos, Amy

    • Gracias a todos por su participación. Ha habido muchas discusiones sobre los pros y los contras de las evaluaciones de la evaluabilidad (EA), con fuertes perspectivas en ambos lados del debate. Como grupo, tenemos experiencias variadas con las EAs, algunos de nosotros hemos implementado EAs, otros no; y algunos de nosotros hemos leído informes, otros no. Y tenemos puntos de vista sólidos que van desde considerarlos un uso innecesario de los escasos recursos de seguimiento y evaluación hasta identificar beneficios específicos de su uso en la planificación y maximización de los resultados de una evaluación.

      Concluiremos este debate el 10 de septiembre. Antes de eso, me gustaría invitar a una mayor reflexión sobre cuándo implementar una EA y cuándo no - la cuestión tanto del coste-beneficio como del beneficio percibido por las partes interesadas, en relación con las preguntas 1 y 2 anteriores. Me gustaría sugerir que las EA deben ser proporcionales al coste de una evaluación posterior, tanto para un buen uso de los recursos financieros como para la aceptación de las partes interesadas. ¿Alguien tiene alguna idea que aportar a este respecto, tanto en términos de proporciones reales como de política organizativa sobre las EA en cuanto a cuándo y cómo deben aplicarse? Conozco algunos organismos de las Naciones Unidas que han desarrollado un enfoque consistente en hacer obligatorias las EA para los programas con presupuestos elevados que superen una cantidad determinada. Creo que, además de una lista de control para implementar una EA, que proporciona conceptos importantes en los que pensar y abordar, una lista de control para decidir si implementar o no una EA también podría ser útil para proporcionar lo que hay que tener en cuenta a la hora de decidir si una EA es aplicable y/o factible.

      Saludos cordiales, Amy

    • Hola a todos,

      Estoy de acuerdo con el planteamiento de que la aplicación rígida de una herramienta, sea cual sea, probablemente no dé lugar a un resultado positivo. Puede tratarse de la aplicación rígida de las teorías del cambio, un enfoque demasiado utilizado que se ha convertido en sinónimo de «hacer» evaluación y que, sin embargo, sigue sin utilizarse en toda su extensión en la mayoría de los informes de evaluación que leo. O con la sobrevaloración de los ensayos controlados aleatorios (ECA) en función de intereses ideológicos. O con la aplicación rígida de los criterios del CAD de la OCDE basados en un paradigma esperado. Existen vías esperadas sobre lo que debe ser el «conocimiento» dentro de nuestro campo que contribuyen a esta rigidez, sobre todo cuando se aplican de forma mecanicista, y su uso excesivo puede, de hecho, perpetuar la naturaleza burocrática de nuestros sistemas establecidos. Estoy totalmente de acuerdo con los puntos planteados por Dahler-Larsen y Raimondo en Copenhague hace varios años en la EES.

      Sin embargo, también creo que cualquier herramienta, como un análisis de evaluabilidad, no debe descartarse basándose en este mismo argumento. Creo que una línea de investigación más útil podría ser pensar en cuándo y cómo podrían ser más útiles las EA. En mi experiencia, las EA pueden ser una herramienta para romper con la evaluación mecanicista y los sistemas burocráticos -y sí, un intento de romper con la apropiación de la evaluación por parte de la dirección- mediante una mejor definición de un enfoque significativo y útil para una evaluación. O la decisión de no realizar una evaluación en función de sus resultados. Creo que el reto está en el nivel organizativo, con el inevitable intento de estandarizar y crear normas para su uso en las realidades complejas.

      Saludos, Amy

    • Muchas gracias, Jindra, por compartir tu experiencia y los útiles enlaces que figuran a continuación. He leído con interés tu lista de control de los análisis de evaluabilidad para las evaluaciones ex ante. Tu experiencia de que muy pocos programas disponen de datos suficientes me resuena. Me interesaría saber si reflexionas sobre la recepción y el uso de los resultados de la EA por parte de los interesados, basándote en tu experiencia (pregunta 3).

      Saludos cordiales, Amy

    • Estimados todos,

      Gracias por vuestra participación activa y vuestros comentarios. Los estoy leyendo y reflexionando a medida que llegan. Responderé ahora a Dreni-Mi y a Daniel, y espero con impaciencia la continuación del debate. 

      Estimado Dreni-Mi,

      Muchas gracias por tu comentario. Has ofrecido una buena visión general de las distintas fases de un análisis de evaluabilidad, una justificación de su aplicación y sus ventajas. En la bibliografía sobre evaluación se describen varias fases de los análisis de evaluabilidad, todas ellas relacionadas en cierta medida, pero que hacen hincapié en aspectos o valores diferentes y con una categorización ligeramente distinta. Me vienen a la mente las 8 etapas de Wholey, así como las 4 etapas de Trevisan y Walser. Creo que su énfasis en la rentabilidad y la preparación para una evaluación de calidad resuena en todos los enfoques.

      Uno de los aprendizajes que obtuvimos el año pasado al realizar los análisis de evaluabilidad en el CGIAR fue el valor de un marco (lista de comprobación) para su uso y también la necesidad de ser flexibles en su aplicación. La lógica del rompecabezas de los análisis de evaluabilidad que Rick Davies compartió en otro artículo me parece especialmente útil para concebir los análisis de evaluabilidad como un medio de reunir las distintas piezas en un enfoque que se adapte mejor a un determinado contexto. Definir claramente los objetivos de un análisis de evaluabilidad y responder a necesidades específicas conduce a un uso más eficaz del marco, aportando más flexibilidad y matices al proceso.

      De las etapas clave que ha descrito, ¿cuál le ha resultado más difícil de aplicar? ¿Cuál es su experiencia con el uso de los resultados de la evaluación de la evaluabilidad?

      Saludos cordiales,

      Amy

       

      Estimado Daniel,

      Muchas gracias por tus comentarios. Responderé a algunos. Estoy totalmente de acuerdo en que los evaluadores deben sentarse a la mesa de diseño. Según mi experiencia, su participación y capacidad para facilitar la reflexión evaluativa entre colegas suele contribuir a una mayor evaluabilidad de una intervención. También puede facilitar el desarrollo de una sólida planificación del seguimiento y la evaluación, así como la capacidad de utilizar y aprender de los datos generados por estos procesos. Esta función amplía lo que se suele entender, en algunos círculos al menos, de lo que son y lo que hacen los evaluadores, lo que me gusta mucho en términos de apoyo a una mayor profesionalización de nuestro campo.

      En su 3ª edición de Evaluation Thesaurus, Michael Scriven hace referencia al concepto de "falsabilidad" del filósofo Karl Popper al hablar de la evaluabilidad. Este concepto se refiere a la idea de que siempre debe existir la posibilidad de demostrar que una teoría, hipótesis o afirmación es errónea. Para que un evaluando (definición de Scriven de lo que debe evaluarse: un programa, proyecto, personal, política, etc.) sea evaluable, entiendo que, en general, se consideraría falsable en la medida en que se diseñe, desarrolle o construya de forma que puedan generarse pruebas de su valor.

      La connotación religiosa de la referencia de Scriven a un primer mandamiento ciertamente pretende dar importancia al concepto. La evaluabilidad como "el primer mandamiento en la rendición de cuentas" me impresiona como algo que se debe, una justificación y, en última instancia, una responsabilidad. Scriven señala que la baja evaluabilidad tiene un alto precio en términos de coste soportado. "No se puede aprender por ensayo y error si no hay una forma clara de identificar los errores". Y "No basta con que uno sea capaz de explicar cómo se ha gastado el dinero, sino que también se espera que sea capaz de justificarlo en función de los resultados obtenidos" (p. 1).

      Creo que Scriven ofrece más información sobre la evaluabilidad en su 4ª edición. Estoy de viaje y no tengo acceso a mi biblioteca de casa. Quizá otros puedan aportar más información al respecto.

      ¿Alguna idea?

    • Gracias, Svetlana, por la oportunidad de participar en este debate. A continuación respondo a dos de sus preguntas.

      ¿Cree que las directrices responden a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?

      Las directrices parecen responder a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados mediante un marco flexible y bien documentado. No estoy seguro de que un único criterio de evaluación capte la esencia de la investigación y el desarrollo. Creo que la respuesta se encontraría en la reflexión sobre su aplicación en los diversos ejercicios de evaluación que se llevarán a cabo próximamente en el CGIAR, así como en la reflexión sobre la experiencia organizativa previa. Esto puede implicar la identificación de cómo se interpreta en diferentes contextos, y si se puede considerar un mayor desarrollo de los criterios recomendados para una posible segunda versión de las Directrices.

      ¿Cómo puede el CGIAR apoyar el despliegue de las Directrices con la comunidad de evaluación y organizaciones afines?

      Estoy de acuerdo con otros en que los talleres y/o la formación sobre las Directrices podrían ser un medio para desplegar las Directrices y comprometerse con la comunidad de evaluación. Sería productivo hacer hincapié en su flexibilidad y fomentar la reflexión sobre su uso en diferentes contextos organizativos.

      En consonancia con mi respuesta a la primera pregunta anterior, sugeriría que se realizara un ejercicio metaevaluativo cuando hubiera más experiencia organizativa en la aplicación de las Directrices. Tendría un valor evidente para el CGIAR, y posiblemente conduciría a una segunda versión mejorada. También sería de gran valor para la comunidad evaluadora, ya que el CGIAR desempeñaría un papel importante a la hora de facilitar el aprendizaje continuo mediante el uso de la metaevaluación, lo que el teórico de la evaluación Michael Scriven ha denominado un importante esfuerzo científico y moral para el campo de la evaluación.

      En la Western Michigan University estamos realizando una revisión de síntesis sobre la práctica de la metaevaluación en un período de 50 años. Hemos encontrado muchos ejemplos de metaevaluación de sistemas de evaluación en diferentes contextos. Suponíamos que se estaba haciendo muy poca metaevaluación y nos sorprendió descubrir que hay muchos ejemplos interesantes tanto en la literatura gris como en la académica. Documentar estos trabajos de metaevaluación reforzaría aún más la Guía y su aplicabilidad, además de añadir un valor significativo al compromiso continuo con la comunidad internacional de evaluación.