¿Cómo ha afectado la pandemia de COVID-19 al diseño de las evaluaciones?

image
©FAO/Antonello Proto

Evaluación en tiempos de la Covid-19 ¿Cómo ha afectado la pandemia de COVID-19 al diseño de las evaluaciones?

La pandemia de la enfermedad por coronavirus (COVID-19) y las consiguientes restricciones a los viajes y las reuniones presenciales han afectado de manera significativa al diseño de las evaluaciones.

Antes de la pandemia, los desplazamientos y los encuentros con las partes interesadas conferían a los responsables de las evaluaciones un cierto grado de flexibilidad y control sobre éstas. Desde entonces, han tenido que ajustar el diseño de las evaluaciones para poder supervisarlas y controlar su calidad a distancia. Hace poco he realizado una evaluación compleja sin viajar ni reunirme de manera presencial con las partes interesadas ni los miembros del equipo de evaluación. Como es probable que las restricciones continúen, me gustaría compartir mi experiencia.

Acerca de la evaluación

En la evaluación se examinó el Programa de Cooperación Técnica de la FAO, que permite a la Organización aprovechar los recursos de su programa ordinario y dar respuesta a las necesidades de emergencia de los países miembros. Se implementa en los países miembros en desarrollo de todas las regiones. Nuestra evaluación abarcó los aspectos técnicos y operacionales del Programa, incluidos su pertinencia, eficacia, eficiencia, asignación y distribución de fondos, gobernanza y gestión.

Composición del equipo      

Trabajé con un equipo reducido para minimizar los costes e inconvenientes asociados a la comunicación a distancia con interlocutores en diferentes zonas horarias. El equipo principal estuvo formado por un director de evaluación, un jefe de equipo y un analista de evaluación. Además, un pequeño grupo de analistas examinó datos cuantitativos durante la fase inicial de la evaluación y ocho consultores locales realizaron 11 estudios de casos de países durante la fase principal.

Adaptar el diseño de la evaluación

Mantener la consistencia de los datos recopilados en diferentes países y regiones fue un gran desafío. Dimos mayor importancia a los análisis teóricos. Se concertaron entrevistas virtuales, seleccionando —de la forma más sistemática posible— países, proyectos y partes interesadas en cada región a fin de evitar el sesgo muestral. Las preguntas se formularon a los diferentes países y regiones de la manera más consistente posible.

La evaluación se llevó a cabo siguiendo estos pasos:

  • Examen exhaustivo de la documentación durante la fase inicial.
  • Estudio detallado de los datos por parte de un equipo de analistas durante la fase inicial.
  • Encuestas sistemáticas durante la fase principal de la evaluación (una encuesta para los interesados internos y otra para los interesados externos, enviadas a todos los países miembros).
  • Estudios de casos de países por parte de consultores locales durante la fase principal.
  • Entrevistas virtuales (individuales y en grupo) durante la fase inicial y la fase principal de la evaluación.
  • Redacción de informes.
Lo que funcionó: organización previa y diseño estructurado

Antes de realizar las entrevistas virtuales, recopilamos la mayor cantidad de información posible por medio de estudios teóricos. Posteriormente validamos y utilizamos los datos en las diferentes entrevistas.

Las preguntas clave se enviaron a las partes interesadas antes de realizar las entrevistas por Zoom. Esto funcionó bien, en particular con los funcionarios de alto nivel, que recopilaron de antemano información a nivel interno, permitiéndonos administrar nuestro tiempo de una manera más eficiente. Las preguntas de seguimiento fueron contestadas en reuniones adicionales por Zoom o por el personal pertinente a través del correo electrónico.

Los estudios de casos se estructuraron de manera que cada consultor local pudiera formular el mismo conjunto de preguntas a las partes interesadas y proporcionar al equipo principal de la evaluación la misma información en un formato consistente para su consolidación. Antes de realizar los estudios se facilitó la información necesaria a los consultores a través de Zoom. Las sesiones informativas individuales funcionaron bien ya que los diferentes consultores tenían distintos niveles de experiencia y capacidad. 

Aplicamos los mismos criterios para seleccionar aquellos países y proyectos objeto de un examen más detallado en cada región. La selección se realizó en consulta con los asociados regionales. Decidimos el número de casos en cada región asignando una ponderación en función del volumen de la cartera de proyectos.

Las herramientas informáticas empleadas para las reuniones virtuales en grupo demostraron ser relativamente sencillas de usar. Comprobamos que el nivel de conocimientos informáticos variaba entre las diferentes partes interesadas, y que muchos funcionarios gubernamentales superiores no estaban familiarizados con ellas. Solo utilizamos Zoom, Teams y Skype for Business para realizar videollamadas y, en ocasiones, compartimos nuestra pantalla.

Como la evaluación dio mayor importancia a los análisis teóricos, pudimos generar documentos independientes utilizando los resultados de estos estudios. El diseño consistente aplicado en diferentes países y regiones facilitó la realización de análisis comparativos de varios países y regiones.

Capacidades y competencias a desarrollar

Confiar en las capacidades nacionales es crucial. A medida que la ausencia de desplazamientos convierte la comunicación virtual en una nueva normalidad, garantizar la calidad de la recopilación de datos sobre el terreno y realizar un análisis sólido de la información son aspectos esenciales para el éxito de las evaluaciones. Fortalecer la capacidad nacional en materia de recopilación, validación y análisis de datos —así como la capacidad de autoevaluación— es más importante que nunca. Utilizar datos cuantitativos contribuye a reducir el riesgo de interpretar de manera diferente datos cualitativos recopilados por varias personas en lugares distintos. Por tanto, los evaluadores deben fortalecer las competencias en materia de muestreo y análisis de datos cuantitativos.

En resumen

Es posible llevar a cabo una evaluación completa de manera virtual: la clave es el diseño estructurado. Habrá más oportunidades para colaborar con socios locales y realizar un análisis de datos más riguroso.

This very good and fantastic experience. Knowledge shared shall surely be used in future evaluations of this nature as the new normal demands. Bravo FAO Team Italy. Would be great to share some of the case study questions.

Cheers

Hi Kebba,

Thank you for your comments. Please refer below site where you can find the answers to your questions and more.  

http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c…