La mayoría de las evaluaciones han de adaptar su metodología a las limitaciones de la vida real, ya sean éstas de naturaleza económica, técnica, organizativa o política o estén relacionadas con el tiempo o los datos.
Los evaluadores que trabajan en los sectores de la alimentación y la agricultura buscan -constantemente- formas creativas de generar conclusiones y recomendaciones creíbles, mientras desarrollan su labor sometidos a una o varias de estas restricciones. Los macrodatos (big data) y la ciencia de datos pueden marcar la diferencia.
Con la rápida expansión de los macrodatos y la ciencia de datos en todos los ámbitos de nuestra vida personal y profesional, disponemos de una amplia variedad de herramientas y técnicas innovadoras para recopilar, analizar y difundir datos, muchas de las cuales ofrecen interesantes posibilidades para la evaluación de programas de desarrollo.
El potencial de las tecnologías de macrodatos resulta especialmente evidente en el contexto de la pandemia actual, ya que permiten recopilar y analizar datos a distancia de forma sencilla, segura, rápida y económica.
Desafíos de las evaluaciones actuales
Veamos algunos de los principales desafíos a los que se enfrentan las evaluaciones hoy en día:
- Coste de la recopilación y análisis de datos: La recopilación de datos supone un coste importante para la mayoría de evaluaciones, limitando –habitualmente- su alcance.
- El tamaño de las muestras limita el tipo de análisis que se puede realizar: los evaluadores suelen verse presionados para reducir el tamaño de las muestras, y esto limita la capacidad de realizar análisis desglosados o numerosos tipos de análisis estadísticos.
- Formular hipótesis contrafactuales (grupos de comparación o control): el coste de los datos y las muestras pequeñas dificultan el desarrollo de un diseño estadístico contrafactual.
- Exclusión de grupos de difícil acceso: acceder a numerosos grupos vulnerables es más costoso y complicado, pudiendo quedar relegados.
- Exclusión de datos más difíciles de medir: los datos sobre comportamientos, procesos y actitudes pueden quedar fuera del análisis.
- Abordar la complejidad: la mayoría de diseños de evaluaciones convencionales no pueden recopilar aquellos tipos de datos necesarios para analizar adecuadamente programas complejos.
- Sostenibilidad y análisis longitudinal: recopilar los datos longitudinales necesarios para evaluar si los programas se prolongan resulta complicado y costoso.
Cómo pueden los macrodatos y el análisis de datos mejorar las evaluaciones
A continuación se enumeran algunas de las técnicas de macrodatos más utilizadas, seguidas de algunos ejemplos -incluidos en el Recuadro 1- de sus aplicaciones reales o potenciales en las evaluaciones en materia de alimentación y agricultura[1].
- Satélites y drones. Proporcionan imágenes de menor resolución de zonas más extensas (satélites) e imágenes de mayor resolución de áreas más pequeñas (drones). Se puede recopilar -de forma rápida y económica- un gran número de variables en una zona extensa y durante períodos prolongados.
- Sensores remotos (internet de las cosas). Los sensores pueden rastrear los movimientos, el uso de servicios -como el agua potable, el saneamiento y la irrigación- y el cumplimiento de protocolos, como las tecnologías de reducción de emisiones de carbono en el cultivo de arroz.
- Datos de geolocalización por GPS. Pueden registrar la ubicación de infraestructuras o incidencias (p. ej. accidentes de tráfico) y los movimientos (p. ej. rastreo y localización de refugiados).
- Redes sociales, incluidos programas radiofónicos con llamadas de los oyentes. El análisis de los mensajes en Twitter, Facebook y otras redes sociales puede identificar y rastrear posibles problemas como focos de pobreza y tensiones étnicas, además de actitudes, comportamientos y participación en diferentes tipos de grupos.
- Datos de búsquedas en Internet. Los datos de estas búsquedas se pueden utilizar para predecir acciones futuras. Por ejemplo, las búsquedas de información sobre fertilizantes pueden sugerir decisiones agrícolas venideras.
- Plataformas integradas de datos y archivos de datos de agencias. El análisis de datos puede reunir múltiples fuentes de datos en una única plataforma, de forma que se puedan identificar vínculos no detectados anteriormente.
- Datos biométricos. Los indicadores de salud y otros datos biométricos se pueden monitorizar a través de dispositivos adheridos a nuestro cuerpo o al ganado.
Muchas de las técnicas pueden emplearse para crear diseños pretest-posttest -o de líneas de base de proyectos, con o sin un grupo de comparación. Los datos generados por las imágenes satelitales y algunas otras fuentes también pueden utilizarse para elaborar diseños ‑estadísticamente sólidos- de grupos de comparación empleando técnicas como el emparejamiento por índice de propensión (propensity score matching). Gran parte de las tecnologías pueden también generar series temporales continuas que permiten el empleo de diseños más sofisticados.
Recuadro 1 Ejemplos del uso/potencial de los macrodatos en evaluaciones en materia de alimentación y agricultura |
|---|
Datos satelitales: en un ambicioso programa de la FAO para recuperar los sistemas de regadío en Afganistán, el equipo de evaluación utilizó Google Earth para verificar la información preliminar de los encuestadores sobre la extensión de los canales rehabilitados y los cambios en la vegetación, comparando las condiciones previas y posteriores al programa. En el contexto de una evaluación del impacto -realizada por el PMA- de los planes de seguros del ganado en Etiopía, se utilizó el índice de vegetación como indicador de sequía que afectaría a los medios de vida de los pastores y les permitiría recibir una compensación del seguro. |
| Teledetección: el FIDA utilizó la teledetección en una evaluación reciente de la estrategia y el programa en el país realizada en Nepal, con el fin de determinar el estado de los ecosistemas sensibles -como las laderas montañosas habitadas- y rastrear la degradación de la vegetación debida a la actividad humana y ganadera |
Datos de geolocalización por GPS: se podrían utilizar para rastrear patrones migratorios desde teléfonos con GPS, o analizar el tiempo que dedican las mujeres a la recolección de agua. |
Datos de redes sociales: para identificar posibles focos de pobreza mediante ‑por ejemplo- el aumento del uso de términos relacionados con el hambre. . |
Programas radiofónicos con llamadas de los oyentes: el análisis textual se puede utilizar para documentar la frecuencia con la que se hace referencia a diferentes problemas y preocupaciones de los agricultores en las distintas regiones |
Datos de búsquedas en Internet: utilizar la frecuencia de las búsquedas de información sobre ciudades de destino para prever la migración desde zonas con tasas elevadas de desempleo a otras con mayor ocupación. |
Archivos PDF y otros registros organizativos (datos transaccionales): agrupar documentos organizativos -no vinculados anteriormente- para crear una plataforma integrada de datos que permita identificar asociaciones y tendencias no detectadas previamente. |
Plataformas integradas de datos que reúnan numerosos archivos de datos de encuestas secundarias, registros públicos y archivos de clientes de agencias de servicios sociales. Esto permite identificar tendencias y analizar los efectos de las variables contextuales en los resultados de los programas. |
Datos biométricos [la “cuantificación personal”]: maneras económicas de recopilar datos biométricos y de salud sobre individuos y comunidades. |
La transición a un nuevo ecosistema de información planteará desafíos
Integrar de forma adecuada los macrodatos en la evaluación requerirá fortalecer los vínculos entre evaluadores y científicos de datos y desarrollar un enfoque común para la evaluación de programas. Para ello sería necesario colaborar conjuntamente en el desarrollo de capacidad, realizar ejercicios de evaluación experimental y trabajar en equipo para superar los malentendidos y -en algunos casos- la desconfianza. El esfuerzo merecería la pena.
---
[1] El sitio web de la iniciativa Global Pulse de la ONU (https://www.unglobalpulse.org/) ofrece más de 100 estudios de casos que muestran la aplicación de estas técnicas en diferentes sectores del desarrollo.