¿Cómo adaptamos nuestro enfoque de evaluación al impacto de la pandemia COVID-19?
Encargado de dirigir una serie de evaluaciones relacionadas con la seguridad alimentaria, he estado lidiando con el desafío de cómo adaptarme al impacto de la pandemia de Covid-19 en mi trabajo. Los retos y soluciones han variado en función de las etapas en las que se encuentran las evaluaciones.
La finalización y difusión de los resultados de la evaluación parecen ser las más fáciles con los eventos de difusión pasados a plataformas en línea, con la esperanza de que los participantes se adapten a la tecnología.
Más difícil fue la rápida adaptación del enfoque para una evaluación intermedia. Obviamente, la capacidad de adaptación dependerá de las características específicas. En nuestro caso, una evaluación estratégica apoyada por una serie de estudios de casos de país, nos adaptamos con bastante facilidad, cambiando todas las entrevistas a un formato virtual soportado por la tecnología - Skype, Zoom, WhatsApp o teléfono.
Aunque muchos de nuestros interlocutores en los países fueron más lentos para responder cuando se les contactó al gestionar las redistribuciones requeridas por el período de bloqueo del país, pudimos llegar a una amplia gama de partes interesadas, organismos de las Naciones Unidas, donantes, la sociedad civil y otros. Una buena planificación de cómo estructurar y llevar a cabo entrevistas remotas en equipo y el conocimiento del contexto y las redes del equipo de evaluación desempeñaron un papel importante en la viabilidad de utilizar un enfoque virtual.
Lo que está menos claro es cómo los efectos de la pandemia pueden influir en el marco de la evaluación. ¿Debemos ajustar el análisis y formular las recomendaciones para que sigan siendo pertinentes, habida cuenta de los impactos inciertos pero potencialmente importantes y sostenibles en la ayuda al desarrollo?
Las opciones sobre cómo avanzar en una evaluación emergente son aún más drásticas, y las opciones deben ser consideradas entre el procedimiento virtual o la espera de iniciar la evaluación cuando la situación se estabilice. Depende mucho del contexto y la urgencia de la evaluación específica. Otro factor decisivo será la magnitud del compromiso requerido a nivel comunitario. En nuestro caso, el empoderamiento y el apoyo de los consultores nacionales para un papel de liderazgo se está considerando como una manera de avanzar. Existe una rica bibliografía sobre la realización de evaluaciones en áreas inaccesibles sobre las que busco construir y adaptarme.
Me interesaría mucho escuchar las experiencias de los demás y sus pensamientos. ¿Cómo podemos adaptar nuestro enfoque de evaluación a esta nueva realidad a corto y medio plazo?
Eddah Kanini (Board member: AfrEA, AGDEN & MEPAK
Monitoring, Evaluation and Gender Consultant/TrainerThank you, Nick Maunder, for bringing this up. The Covid-19 pandemic put to test every evaluator on how innovative and resilient one can be. My president’s directive to work from home, reached us when we are in the process of data collection in the field. This was an outcome harvesting. We had a replanning meeting over the night and decided to prioritize the focus group interviews (the stories) to avoid being locked down away from our homes. Focus group discussions would have been challenging to collect through skypes or telephone calls. The storytellers (FGD) are mostly community members. They have challenges in accessing bundles, telephones, internet, and most other forms of communication.
The rest of the data from the key informants (substantiating) was collected through skype meeting, telephone calls and WhatsApp calls. It was not easy as put, but eventually, we were happy with the effort we put and the data collected.
Therefore, the evaluators need to continually remind themselves on what the goal of a particular evaluation is. And how best they can gather the data.
Alena Lappo Voronetskaya
Evaluation Officer (IAEA); Board Member (European Evaluation Society)Estimados miembros,
Siguiendo este oportuno hilo de discusión sobre cómo adaptar nuestras evaluaciones en la época de Covid-19, comparto el blog de colegas y expertos del Banco Mundial sobre métodos de evaluación. El blog (en inglés) proporciona un árbol de decisiones "Making Choices about Evaluation Design in times of COVID-19" y algunos ejemplos prácticos.
Alena
Claudia Martinez Mansell
Evaluation Manager FAOSiguiendo las cuestiones planteadas anteriormente sobre las encuestas telefónicas, me gustaría compartir nuestra experiencia reciente de una evaluación en curso de un proyecto de gestión de residuos en el campo de refugiados de Zaatari, que acoge a refugiados sirios en Jordania. El proyecto de cuatro años fue financiado por la Unión Europea y ejecutado por la FAO.
Dado que todas las misiones de evaluación de la FAO han sido canceladas, pero ya habíamos reclutado un equipo para llevar a cabo la evaluación, decidimos hacer todo lo posible de la evaluación de forma remota. El objetivo del proyecto era mejorar los medios de vida con mayores oportunidades de empleo ecológico mediante la utilización integral de residuos de aguas residuales tratadas y biosólidos en la generación de energía renovable y compost. Dado que el proyecto tenía un pequeño número de beneficiarios directos - 33 personas (principalmente mujeres) empleadas en la unidad de segregación de residuos, y el equipo del proyecto de la FAO tenía todos sus datos de contacto, decidimos realizar entrevistas telefónicas de forma remota para recabar su opinión sobre el proyecto.
Estas son algunas lecciones:
• La importancia del preaviso: Antes de las entrevistas, el equipo del proyecto produjo un folleto corto en árabe con información sobre quiénes éramos, por qué íbamos a estar en contacto y el propósito general de la evaluación. El folleto también incluía detalles sobre el número de teléfono que los llamaría y quién llamaría. Esto fue impreso y distribuido por el personal del proyecto de la FAO a las 33 beneficiarias que trabajan en la unidad de segregación de residuos. Luego les encargamos un mensaje de texto, presentándonos y diciendo que queríamos hablar con ellas y organizar un momento adecuado para hablar. Estos intercambios de mensajes hasta que se encontró un momento adecuado para hablar, les permitieron aceptar ser entrevistados y aseguraron que había un consentimiento informado al proceder con la entrevista. Como los mensajes iniciales fueron enviados por WhatsApp, también tuvimos la ventaja de ver si los mensajes estaban llegando y siendo leídos.
• Una metodología flexible: Llegamos a las beneficiarias utilizando su idioma (árabe) y pronto nos dimos cuenta de que al contactar por teléfono (en lugar de a través de reuniones durante una misión de evaluación) tuvimos mucha más flexibilidad en la organización de las entrevistas en un momento que era adecuado para los beneficiarios. La mayoría de los beneficiarios eran mujeres, por lo que pudieron decidir el mejor momento para ellas, entre todas sus tareas domésticas y laborales. Nuestro evaluador hablante árabe era un hombre y pronto también nos enteramos de que esto no sería un problema al hablar con ellas. En realidad, nuestro evaluador se sorprendió gratamente de lo charlatanes que eran las mujeres beneficiarias y de cómo las normas sociales que uno podría haber encontrado si las reuniones eran en persona, no tenían un papel tan sobrecargado. Un gran número de las preguntas de evaluación se centraron en los medios de vida y también constatamos que todos los encuestados estaban muy abiertos a describir su situación financiera y las implicaciones económicas y que el anonimato de la llamada disipaba las sensibilidades de compartir información sobre los ingresos.
• Como Covid-19 es un desafío global, descubrimos que los beneficiarios del proyecto entendían completamente por qué no estábamos allí en persona y los riesgos potenciales de reunirse, por lo que eran muy comprensivos y serviciales, a veces ofreciendo por ejemplo rastrear a otras personas del equipo si no pudiéramos contactar con ellos. Algunos participantes incluso se ofrecieron como voluntarios para participar en discusiones grupales, que no asumimos, ya que no queríamos animarlos a reunirse en grupos debido al riesgo de la propagación de Covid-19. Desde el lado de la FAO, la participación limitada del equipo del proyecto también nos permitió un canal de comunicación más directo con los beneficiarios y menos posibilidades de un sesgo del equipo del proyecto a medida que entrevistamos a 20 del total de 33 personas.
Los refugiados sirios en el campamento de Zaatari tienen un nivel muy alto de propiedad de los teléfonos, por lo que nuestro caso podría no ser aplicable en todos los contextos. Como también se puso de relieve en la contribución anterior, al pasar de las entrevistas cara a cara a la telefónica es importante estar al tanto de las compensaciones. Las entrevistas telefónicas también están lejos de ser perfectas; en nuestro caso, mientras tuvimos una conversación muy rica, echamos de menos el lenguaje corporal y otras informaciones y aspectos de la observación visual que le ayudan a entender mejor las cosas, ¿están cómodos hablando? ¿Cómo se relacionan entre sí el equipo del proyecto y los beneficiarios?
Isha Miranda
Visiting Lecturer and Independent Evaluator Independent ConsultantHoy en día la evaluación ya no puede ser un ejercicio independiente. En el contexto de esta crisis, es necesario que se convierta aún más en un proceso continuo y orientado a la acción a lo largo de la intervención.
Tiene que contribuir concretamente al bienestar social, ambiental y económico de las personas, así como a la paz a nivel local y regional, así como a nivel mundial.
Cito a Michael Quin Patton: “Todos los evaluadores deben convertirse ahora en evaluadores de desarrollo, capaces de adaptarse a sistemas de dinámica complejos, prepararse para lo desconocido, para incertidumbres, turbulencias, falta de control, no linealidades, y para el surgimiento de la Inesperado. Este es el contexto actual en todo el mundo en general y este es el mundo en el que la evaluación existirá en el futuro previsible” y recomendaría leer su blog: https://bluemarbleeval.org/latest/evaluation-implications-coronavirus-global-health-pandemic-emergency
Isha Wedasinghe Miranda
Independent Evaluator and Programme Management Consultant
Sri Lanka
Bintou Nimaga
consultant¡Buenos días a ustedes, estimados miembros!
Gracias a NICK MAUDER por lanzar esta iniciativa de pensamiento entre nosotros. En efecto, estoy totalmente de acuerdo con esta observación sobre al cese de las actividades que se suelen llevar a cabo, en particular las relativas a los ejercicios de evaluación. De hecho, se trata de una situación imprevista, pero que genera también la oportunidad de fortalecer los enfoques utilizados anteriormente. A menudo he tenido la oportunidad de gestionar diagnósticos en zonas de conflicto donde los viajes no son posibles debido a la inseguridad. En estos casos, utilicé métodos de encuesta telefónica. Este tipo de encuesta requiere principios, entre otros:
Sin embargo, el método requiere más esfuerzos de triangulación para verificar los datos recopilados. Hay que decir que se trata de una metodología alternativa, pero no un reemplazo para el contacto humano. De hecho, el contacto humano es siempre el mejor medio de evaluación porque el evaluador puede hacer observaciones personales y observaciones que pueden argumentar las evaluaciones de los hechos.
Alena Lappo Voronetskaya
Evaluation Officer (IAEA); Board Member (European Evaluation Society)Estimados colegas,
Muchas gracias a Nick por comenzar este tema y discusión muy relevante.
En particular, quisiera subrayar la responsabilidad ética que tenemos como evaluadores mencionada por Carlos. Es posible que algunos países aún no tengan una restricción importante. De hecho, sería legal que el equipo local llevara a cabo grupos focales y entrevistas cara a cara. Sin embargo, depende de un evaluador decidir si es ético. Esto podría implicar que incluso los consultores locales tendrían que llevar a cabo la recopilación de datos a través de herramientas de interacción en línea. Recientemente le había sucedido a mi colega que gestionaba una evaluación en Indonesia y Brasil, donde el equipo decidió evitar la recopilación de datos cara a cara por parte de consultores de ambos países, ya que lo consideraban poco ético.
Como aún queda mucho desconocido sobre Covid-19, cualquier decisión que tomemos con respecto a nuestras evaluaciones actuales y futuras se basará en datos imperfectos. La ciencia presenta diferentes escenarios, pero algunos de ellos sugieren que la situación de la salud podría tardar hasta 1,5 años en estabilizarse. Esta emergencia de salud podría ser una buena oportunidad para aprender a diseñar una metodología para una evaluación creíble a distancia.
El 1 de abril, nuestros colegas de USAID ofrecen un seminario web gratuito " Discussion on Challenges and Strategies for M&E in the Time of COVID-19" (en inglés). Los miembros interesados pueden registrarse aquí:
https://www.eventbrite.com/e/discussion-on-challenges-and-strategies-for-me-in-the-time-of-covid-19-registration-100817255124
Saludos
Alena
Carlos Tarazona
Senior Evaluation Officer FAOEstimado Nick,
Gracias por su muy interesante post, y por compartir su experiencia en la lucha con este desafío. Deseo compartir un par de pensamientos, de mi papel como evaluador y como comisionado de evaluaciones.
A corto plazo, me pregunto el valor que las partes interesadas pueden dar a las evaluaciones realizadas a distancia y, a medio plazo, la amenaza que esto supone para la evaluación como profesión.
¿Cuál es el valor añadido de una evaluación que se realiza desde la distancia? En un par de evaluaciones en curso con grandes componentes de campo nos enfrentamos a algunas cuestiones cuya consecuencia no debemos subestimar, ya que podrían reducir la credibilidad de todo el ejercicio (incapacidad para observar los cambios de primera mano, confiar en el evaluador para seleccionar quién participa y quién no, limita a la triangulación con los beneficiarios y socios locales, etc.) y poner a nuestros equipos en peligro de ser desafiados en caso de que se les presenten hallazgos negativos o erróneos, si no inexactos.
Entonces, la evaluación como profesión: si estamos haciendo las cosas desde la distancia y sin triangulación creíble y participación ascendente, ¿qué nos hace diferentes de aquellos que hacen revisiones o auditoría de desempeño? Si abogamos por las evaluaciones a distancia, y los colegas/socios se dan cuenta de que estos se pueden hacer de manera barata y no rigurosa, podemos tener problemas en el futuro i) la venta de la evaluación como una herramienta distintiva y verdaderamente de aprendizaje, y ii) obtener provisiones/presupuestos de evaluación adecuados.
Vinculado a esto, el imperativo moral para los evaluadores de no hacer daño. En vista de todas las incógnitas que trae esta pandemia, es nuestro deber no poner en riesgo a más personas, ni a los evaluadores locales ni a los beneficiarios. Tratar de posponer las evaluaciones si es posible, al menos hasta que se haga más claro lo que podríamos hacer con seguridad en el campo y lo que no podemos, será simplemente una cosa justa y ética.
Saludos
Carlos