Lanzamos una nueva serie sobre Evaluación en tiempos de la Covid-19. Ésta es la primera de las tres partes de una entrevista que reúne reflexiones de líderes y responsables que participan actualmente en evaluaciones de desarrollo humanitario sobre los efectos de la pandemia en las prácticas de evaluación.
Dr. Robina Shaheen, jefa Mundial del servicio de Seguimiento, Evaluación y Aprendizaje, Acción contra el Hambre, Reino Unido: La mayor transformación se ha producido en nuestras metodologías de trabajo. Por lo general, el personal internacional y/o los equipos de recolección de datos se encargan de reunir información -de manera presencial- en los países. Antes de que estallara la Covid-19, el acceso presencial a los encuestados en los países proporcionaba mayor control directo y permitía supervisar y asegurar el control de calidad. La situación actual nos ha obligado a pensar en la manera de utilizar medios a distancia para acceder a los encuestados y recopilar datos sin riesgo alguno para evaluadores y encuestados. Si bien hemos utilizado dispositivos móviles en el pasado para recopilar datos, el desafío adicional radica -actualmente- en acceder a distancia a los encuestados y a los lugares. Esto supone explorar tecnologías de audio y vídeo que permitan realizar entrevistas y discusiones por grupos especializados y recopilar datos de observaciones a distancia. Sin embargo, aunque los evaluadores dispongan de dispositivos y tecnologías adecuadas, los mayores retos son el acceso a éstos por parte de los encuestados y los costes asociados. Por ejemplo, las redes de telecomunicaciones no son siempre fiables y usar teléfonos móviles e Internet es costoso.
Muriel Visser, jefa de equipo para la evaluación de las contribuciones de los programas de alimentación escolar del PMA a los ODS: Las restricciones a los viajes han provocado que las evaluaciones tengan que realizarse mediante reuniones/entrevistas a distancia, empleando métodos -también a distancia- de trabajo en equipo. Esto tiene menor incidencia en las evaluaciones con métodos mixtos -ya que permiten ajustar el equilibrio entre metodologías y formas básicas de trabajo- y las evaluaciones estratégicas, al no depender la recopilación de datos ‑en tan gran medida- de encuestas sobre el terreno, entrevistas presenciales y visitas a los lugares donde se desarrollan los proyectos. Los desafíos en estas situaciones son mucho mayores.
La comunicación a distancia tiene algunos efectos positivos, así como otros negativos. En primer lugar, las “misiones” iniciales suelen prolongarse mucho más tiempo cuando se realizan de manera virtual, al no tener ya tanta presión para concertar reuniones en un plazo temporal concreto -y por lo general breve- durante la estancia de los evaluadores en el país.
En segundo lugar, cuando un equipo de evaluación no puede reunirse de manera presencial para un taller o realizar otro tipo de preparación para una evaluación, dividir el taller en varias sesiones virtuales -en lugar de concentrar toda la actividad en una o dos jornadas- puede resultar conveniente. Esta alternativa permite disponer de tiempo para la reflexión entre reuniones más cortas y reduce también la fatiga que producen las reuniones a distancia. En tercer lugar, llegar a los informantes a través de la tecnología -en particular a nivel de país y de oficina sobre el terreno- constituye un desafío en algunas ocasiones, por lo que resulta necesario destinar más tiempo a superar esas dificultades. El papel del coordinador de la evaluación -del cliente- cobra mayor importancia si cabe, así como el tiempo destinado a identificar informantes adecuados durante la fase inicial.
Gaby Duffy, Oficial superior de evaluación del PMA: La incidencia ha sido mayor en misiones sobre el terreno para recopilar datos primarios. La situación ha obligado a nuestros evaluadores a encontrar formas alternativas de reunir las perspectivas de las partes interesadas, utilizando herramientas de recopilación de datos a distancia en la mayoría de los casos. También implica usar -y analizar- datos secundarios con mayor solidez. Estas decisiones se toman junto a colegas que trabajan sobre el terreno y evaluadores, dispuestos -hasta ahora- a adaptarse a unas circunstancias cambiantes. A medida que evoluciona la pandemia, se revisa el plan para realizar evaluaciones, a fin de comprobar si las misiones sobre el terreno son realmente viables y seguras. La situación actual requiere -por tanto- gran flexibilidad.
Martine Van de Velde, jefa del equipo que evalúa el Plan estratégico del PMA para el Líbano: Las restricciones a los viajes han impedido que las misiones en los países consulten a las partes interesadas en reuniones presenciales y que los evaluadores observen los resultados de las intervenciones sobre el terreno. Para proseguir con la evaluación, hemos tenido que adaptarnos con rapidez a un enfoque a distancia, basado en consultas virtuales con las partes interesadas y un mayor énfasis en el análisis de pruebas documentales. Se ha pedido al personal del PMA y a los evaluadores que intensifiquen el contacto y acuerden con celeridad estrategias para trabajar a distancia. Tanto los evaluadores como las partes interesadas están preocupados por el futuro debido a la pandemia y la dificultad de conciliar teletrabajo y obligaciones familiares. Solucionar los problemas de conectividad ha supuesto -en ocasiones- un desafío adicional.
Marie-Hélène Adrien, jefa de equipo de la evaluación de la Política del PMA en materia de Cooperación Sur-Sur y Cooperación triangular: Los cambios más importantes afectan a cuatro ámbitos principales. En primer lugar, la metodología. No poder viajar nos impide realizar misiones iniciales en la sede central, o que los países piloto prueben nuestras herramientas de recolección de datos. En segundo lugar, el calendario. No sabemos con certeza cuándo podremos recopilar datos de manera presencial, ni qué metodología utilizar. En tercer lugar, el muestreo en los países. Algunas oficinas en los países no pueden organizar una misión de evaluación. Y, en cuarto lugar, los costes. Es preciso revisar las propuestas para reflejar todas las consecuencias relacionadas con la Covid-19.
¿Cómo nos hemos adaptado? En primer lugar, hemos completado una fase inicial a distancia; en segundo lugar, hemos incorporado hitos de verificación de decisiones al cronograma de la evaluación a fin de revisar la metodología; y, en tercer lugar, hemos ampliado el plazo de ejecución de la evaluación, algo por otra parte habitual. Todo lo que podemos lograr en una visita presencial al país de cuatro días nos lleva ahora 2 semanas.
Evaluación en tiempos de la Covid-19 es un espacio para que dirigentes, responsables y expertos en materia de evaluación compartan sus perspectivas sobre las posibles consecuencias de esta crisis sanitaria en las prácticas de evaluación.