Evaluación rápida para medir el impacto de la pandemia de COVID en las zonas montañosas

Morocco
©FAO

Evaluación rápida para medir el impacto de la pandemia de COVID en las zonas montañosas

Hola comunidad,

Trabajo con ONGs en las zonas montañosas cerca de Marrakech y soy miembro de una de ellas. Vemos el impacto de la pandemia de COVID en los medios de vida de las comunidades de montaña con las que trabajamos. De hecho, durante el confinamiento, entre las comunidades rurales, las comunidades de las zonas montañosas son las que más han sufrido el impacto económico de la pandemia. Actualmente, la vida está volviendo gradualmente a la "nueva normalidad", pero los expertos, incluso a nivel internacional, hablan del año 2022 como la fecha en que la vida podría volver a la normalidad.

Intentamos desarrollar herramientas de evaluación y hemos realizado una primera prueba para nuestra comunidad. Pero nos dimos cuenta de que se necesita tiempo y recursos para comprender completamente la situación y poder responder de manera eficaz.

¿Cómo podemos hacer evaluaciones rápidas del impacto del COVID en las comunidades para poder ser proactivos y/o reaccionar de manera oportuna?

Me gustaría tener sugerencias y su experiencia al respecto.

Atentamente

Malika Bounfour, PhD

Ingénieur Agronome-Consultante 

Présidente de l'Association Ayur

Hola Comunidad,

En primer lugar, quisiera agradecerles sus contribuciones describiendo sus muy ricas experiencias respectivas y proponiendo enfoques e instrumentos para asegurar que el proceso de evaluación rápida responda a las expectativas.

Las respuestas pusieron de relieve problemas comunes, a saber, el tiempo y los recursos necesarios para una evaluación rápida de los efectos de una intervención o de COVID 19. Esos recursos suelen ser mayores de lo previsto.

La lentitud de la comunicación entre los diferentes asociados y la disponibilidad de datos archivados y analizados también se plantean como factores importantes que frenan la aplicación de medidas rápidas.

En cuanto a las soluciones y herramientas propuestas, Jennifer Mutua aconsejó prestar atención a los factores inesperados al estimar el presupuesto para la evaluación. Carolina Turano sugirió formas de mejorar la comunicación entre los asociados para agilizar el proceso. Elias SEGLA propuso herramientas de recopilación de datos y sugirió que el equipo de evaluación rápida fuera interno con su propio organigrama y modus operandi. La respuesta de Nayeli Almanza describe la metodología de recopilación rápida de datos para medir el impacto de COVID 19 en las poblaciones de migrantes y Aurélie Larmoyer da sugerencias prácticas para que los individuos y los equipos trabajen con el fin de reducir el tiempo dedicado a la elaboración del protocolo y las reacciones que a veces pueden ser decisivas para la intervención.

En resumen, creo que 1) es necesario trabajar en el tiempo de comunicación entre los asociados durante el desarrollo del enfoque, así como en la retroalimentación y la reacción; 2) es necesario utilizar herramientas modernas, especialmente medios virtuales y teléfonos móviles; 3) el tema del presupuesto sigue siendo y podría requerir un trabajo innovador del equipo para optimizar los resultados dentro del presupuesto asignado.

Por último, espero que esta cuestión de la evaluación rápida reciba la atención que merece y se desarrolle especialmente durante esta crisis de COVID 19.

Agradeciéndoles una vez más sus respuestas y referencias compartidas, quedo a su disposición para futuros intercambios sobre este tema.

Atentamente

Malika

 

Estimada Malika,

Gracias por plantear una pregunta tan importante. La encuentro interesante en dos aspectos:

En primer lugar, porque plantea la cuestíon de cómo podemos capturar los efectos inmediatos (o a medio plazo) de la situación del COVID-19 en nuestras realidades. Muchos evaluadores están lidiando con esta pregunta. Algunos colegas del sistema de las Naciones Unidas han trabajado para trazar algunas orientaciones generales a este respecto. Por ejemplo, la publicación reciente de la Oficina de Evaluación de la OIT (https://www.ilo.org/wcmsp5/groups/public/---ed_mas/---eval/documents/pu…) podría servir de inspiración, ya que enumera, en el anexo, preguntas típicas de evaluación que coinciden con la necesidad de recopilar información específica relevante para el COVID-19.

También me parece interesante su pregunta porque se refiere a cómo hacer evaluaciones rápidas, a las que también teníamos muchas razones para aspirar incluso antes de la pandemia, y sobre las que, por lo tanto, hay experiencias pasadas sobre las que basarnos. Y, si nuestra colega Jennifer tiene razón al subrayar que la evaluación no se presta fácilmente a una reacción rápida, creo que hay formas de acelerar los procesos para satisfacer la importancia de la puntualidad. Puedo compartir los siguientes puntos de aprendizaje con respecto a lo que funcionó cuando apunté a realizar evaluaciones rápidamente. En primer lugar, la focalización. Hace una diferencia cuando el tiempo de alguien está completamente dedicado a la tarea, mientras que realizar varias tareas a la vez quita el preciado enfoque que necesita para llegar a donde quiere rápidamente. En segundo lugar, apunte a un ''plan suficientemente bueno''. A menudo damos vueltas en círculos para preparar nuestras evaluaciones e invertimos mucho tiempo en intercambios  sobre ella, una línea más recta puede ayudar comenzar con un alcance aproximado y probar y refinar su enfoque a medida que avanza. En tercer lugar, compensar cualquier atajo con la participación de unos pocos interesados ​​seleccionados con conocimiento estratégico como caja de resonancia en el camino.

Por supuesto, la situación de COVID-19 complica estas reglas generales, en particular cuando el compromiso debe ser virtual; y mi último consejo es que se familiarice con las tecnologías modernas para comprometerse por medios virtuales. Como usted informa, esto podría durar, por lo que podría valer la pena invertir en esas nuevas competencias.

Saludos cordiales, Aurelie

Estimada Malika y comunidad,

Usted ha propuesto un tema muy interesante con una necesidad urgente de obtener información constante a medida que evoluciona la pandemia.

En cuanto a la Organización Internacional para las Migraciones de las Naciones Unidas (OIM), hemos desarrollado y aplicado una metodología en México y en algunos países de América Central basada en entrevistas telefónicas con los actores claves en el terreno. Esta metodología se denomina "Displacement Tracking Matrix" (DTM) y la OIM la utiliza ampliamente desde 2004.

Hemos identificado que al asesorar a los representantes de las comunidades, directores de albergues y actores de los gobiernos locales y organizaciones sociales, se puede obtener información general sobre el impacto del COVID-19 sobre la movilidad y las necesidades de la población migrante asentada en las fronteras, así como en el movimiento a través del país.

En particular, yo dirigí el desarrollo de estos estudios en México. Hasta ahora tenemos 3 estudios, pero el último en inglés está disponible aquí: https://dtm.iom.int/reports/mexico-emergency-tracking-southern-border-m...

Hay alguna información que sintetiza el enfoque de la metodología a la que se puede acceder aquí: https://displacement.iom.int/system/tdf/tools/Methodological%20Framewor... 

Si tiene más comentarios o preguntas, no dude en ponerse en contacto conmigo.

Saludos,

Nayeli Almanza, MSc

Estimada comunidad,

Gracias a Malika por haber sacado a la luz el tema de la evaluación rápida, que muestra una vez más las dificultades que a menudo encontramos en la aplicación práctica de ciertas nociones teóricas.

Mi punto de vista sobre el tema es el de un actor institucional y no el de un consultor. En Benin hemos empezado a realizar evaluaciones rápidas, un nuevo concepto al que nos expusimos en Sudáfrica con el Programa "Twende Mbele" (un programa de cooperación en materia de evaluación que iniciamos con Sudáfrica y Uganda para fortalecer nuestros sistemas nacionales de seguimiento y evaluación mediante el intercambio de experiencias y el desarrollo de herramientas colaborativas).

En el marco de este programa hemos elaborado una guía metodológica específica sobre este tipo de evaluación y hemos realizado simultáneamente 4 evaluaciones rápidas, 3 de las cuales se refieren a intervenciones públicas y la cuarta se refiere a los efectos del COVID-19 en el sector informal.

En primer lugar, hay que decir que la principal diferencia entre la evaluación rápida y la evaluación tradicional radica en las limitaciones de tiempo y los recursos limitados que caracterizan a la evaluación rápida. En Benin, por ejemplo, una evaluación normal (excluidas las evaluaciones del impacto, que pueden durar hasta 5 años) lleva una media de 9 meses a 1 año, o incluso más  debido a muchos factores relacionados con los procedimientos (en particular la administración, la adquisición, la gestión institucional, especialmente cuando hay muchos interesados), y a veces debido a la fase de recopilacíon y análisis de datos, que suele ser prolongada. Por lo tanto, la evaluación rápida requiere nuevos procesos para reducir el tiempo de las fases previas y posteriores a la recopilación de datos. Con la adaptación que hicimos en Benin, el tiempo total para una evaluación rápida se estimó en 12 semanas como máximo. Esto implica un período de recopilación de datos de un máximo de dos semanas a un mes, para dar tiempo a las actividades iniciales, organizar la recopilación de datos, analizar los resultados, redactar un proyecto de informe, obtener observaciones y finalizar el informe. Sin embargo, es una prueba de realidad para ver si esto es realista.

En lo que respecta a los instrumentos, la brecha en términos de tiempo y alcance puede llenarse mediante el uso de métodos rápidos:

- Colección con grupos (en lugar de individuos), talleres,

- Uso de datos de rutina u otras evaluaciones,

- Trabajo en equipo para llevar a cabo diferentes pasos al mismo tiempo (Recogida y procesamiento)

Además, creemos que, para ahorrar tiempo de manera efectiva, es preferible que la evaluación rápida sea llevada a cabo por un equipo interno, porque es la única opción que no requiere un procedimiento de adquisición. Pero esto requiere que se establezcan mecanismos de organización adecuados, por ejemplo:

- un organigrama del proyecto para el equipo,

- la organización del tiempo de trabajo semanal que se dedicará a la misión de evaluación y plazos estrictos de entrega,

- medidas de apoyo al equipo, etc.

Además, como el equipo de evaluación no reside en las comunidades, hemos identificado puntos focales en los entornos de recopilación de datos para garantizar la facilitación con los miembros de la comunidad a fin de ahorrar tiempo.

Malika no fue suficientemente específica como para permitirnos proponer enfoques de solución adaptados a su contexto. Pero de lo poco que he retenido, aquí hay algunas ideas que comparto por el momento. Podría aportar más elementos de hecho cuando hayamos aprendido de la experiencia que se está llevando a cabo actualmente en la Oficina de Evaluación de Políticas Públicas de Benin.

Gracias y buena suerte a todos ustedes.

Elias SEGLA 

Estimada Malika y comunidad,

Gracias por compartir sus desafíos en la realización de evaluaciones rápidas.

Actualmente participo en una evaluación en tiempo real (ETR) realizada por la Oficina de Evaluación de la FAO. A pesar de que la metodología de esta ETR ha sido diseñada para proporcionar información en tiempo real a los equipos de la FAO y a las organizaciones asociadas, en realidad está tardando más de lo previsto inicialmente. Las razones fueron más o menos similares a las mencionadas por Jennifer, a saber, la lentitud de los procesos burocráticos, la contratación de personal nacional, las restricciones de viaje, entre otras.

Sin embargo, creo que se podrían hacer algunos ajustes en la forma "regular" de realizar evaluaciones, para agilizar el proceso. Esto podría contribuir a que la retroalimentación y las recomendaciones sean más "en tiempo real". Algunas ideas podrían ser :

  • Aumentar el flujo de comunicación con los interesados/comunidades pertinentes para proporcionar actualizaciones periódicas sobre el proceso de evaluación. Cada actualización debería incluir también una breve descripción de los hallazgos preliminares que surgieron en esa etapa particular de la evaluación.
  • Organizar talleres periódicos para permitir el debate sobre los resultados y conclusiones preliminares con un público más amplio y de manera participativa, y aprovechar esta oportunidad para extraer ideas para las recomendaciones junto con el público.
  • Crear productos de comunicación breves para difundir los resultados y recomendaciones preliminares a lo largo de todo el proceso de evaluación y no sólo al final del mismo.

Aunque soy plenamente consciente de que algunos de los problemas relacionados con el tiempo y los recursos que entrañan los procesos de evaluación son sencillamente difíciles de superar, la creación de un espacio para la retroinformación continua a lo largo del proceso de evaluación, utilizando diferentes formas, como se ha destacado anteriormente, puede ser una forma de permitir que las comunidades/interesados reaccionen de manera más oportuna.

Espero que esto contribuya a la discusión.

Atentamente,

Carolina

 

 

Estimada Malika,

Gracias por compartir su experiencia. Nuestra iniciativa, tal como compartida en esta plataforma [www.evalforward.org/comment/reply/node/118/field_comments_ref/19], implica una asociación conjunta de la Sociedad de Evaluación de Kenya (ESK) y el Departamento de Seguimiento y Evaluación (MED), financiada por el Banco Mundial. Entonces, nuestro contexto es diferente al suyo, ya que implica la coordinación entre los gobiernos nacionales y de los condados (lo que hace las cosas más complejas).

Sin embargo, al igual que usted, nuestra experiencia fue que, en efecto, las evaluaciones rápidas no fueron tan rápidas como se había previsto inicialmente (y como parece implicar el término). También se gastaron muchos más recursos de los inicialmente previstos. Algunos factores que contribuyeron a ello fueron:

  • Un comienzo lento debido a los protocolos/burocracias en las comunicaciones entre los gobiernos nacionales y los de los condados
  • A veces se producen retrasos en las respuestas a nivel técnico (especialmente cuando el personal es escaso en el terreno)
  • Documentación limitada de datos de seguimiento bien analizados y archivados
  • Generalmente, los sistemas de SyE son débiles. Esto limita la capacidad de realizar estudios rápidos. Se han tenido que emplear medios alternativos que implican un alcance más amplio y dinero adicional, para subsanar las deficiencias de los datos

En vista de todo ello y en función del contexto, creo que es importante tener en cuenta estas limitaciones, incluidos los posibles excesos presupuestarios en las etapas de planificación de la evaluación.

Saludos cordiales,

Jennifer