La plupart des évaluations nécessitent d’ajuster leur méthodologie en fonction des contraintes du terrain, aussi bien en termes économiques, techniques, organisationnels et politiques que de délais ou de données.
Les évaluateurs travaillant dans les domaines alimentaire et agricole sont constamment à la recherche d’approches créatives leur permettant d’émettre des conclusions et des recommandations d’évaluation crédibles, quelles que soient la ou les contraintes affectant leur travail. Les données massives et la science des données peuvent leur apporter beaucoup.
Avec l’extension rapide des données massives et de la science des données dans tous les domaines de nos vies personnelles et professionnelles, une large gamme d’outils et de techniques pour la collecte, l’analyse et la diffusion des données est désormais disponible et représente dans certains cas un potentiel incroyable pour l’évaluation des programmes de développement.
Le potentiel des technologies liées aux données massives est particulièrement évident dans le contexte pandémique actuel, où il peut se révéler plus facile de collecter et analyser les données à distance, en toute sécurité, rapidement et à peu de frais.
Les défis auxquels les évaluations sont confrontées à présent
Observons certains des principaux défis qui se posent à présent à de nombreuses évaluations:
- Les coûts de la collecte et de l’analyse des données: La collecte des données constitue l’un des principaux coûts dans la plupart des évaluations, la portée de l’évaluation étant par ailleurs souvent limitée par de tels coûts.
- De petits échantillons limitent les typologies d’analyse possibles: les évaluateurs sont souvent soumis à des pressions visant à réduire la taille des échantillons, ce qui limite la possibilité de mener une analyse désagrégée ou d’autres typologies d’analyse statistique.
- Élaborer des éléments contrefactuels (groupes de comparaison): le coût des données et la taille réduite des échantillons rendent difficile l’élaboration d’un ensemble contrefactuel.
- L’exclusion des groupes difficiles à atteindre: de nombreux groupes vulnérables sont plus coûteux et plus difficiles à atteindre, présentant ainsi le risque d’être exclus.
- L’exclusion des données plus difficiles à mesurer: les données sur le comportement, les processus et les attitudes pourraient être écartées.
- Traiter la complexité: la conception de la plupart des évaluations conventionnelles ne permet pas de collecter les types de données requises pour l’analyse adéquate de programmes complexes.
- Analyse de la durabilité et analyse longitudinale: il est difficile et coûteux de collecter les types de données longitudinales requises pour évaluer si les programmes sont durables dans la durée.
Comment les données massives et l’analyse de données peuvent améliorer les évaluations
Une liste de différentes techniques de données massives largement utilisées est proposée à l’encadré 1 et accompagnée d’exemples détaillant leurs applications potentielles et actuelles pour les évaluations dans les domaines alimentaire et agricole [1].
- Satellites et drones. Ils fournissent des images à basse résolution sur de larges zones (dans le cas des satellites) ou à meilleure résolution mais sur des zones plus restreintes (dans le cas des drones). De nombreuses variables peuvent être collectées à faible coût et rapidement sur une large zone et sur de longues périodes.
- Les capteurs à distance (internet des objets). Les capteurs permettent de suivre les mouvements, l’utilisation de services comme l’eau potable, l’assainissement et l’irrigation et la conformité avec certains protocoles d’accord (comme dans le cas des technologies de culture du riz à faible émission carbone).
- Données de localisation GPS. Elles permettent d’enregistrer la localisation d’infrastructures ou d’événements, comme par exemple les accidents de la route, et de certains mouvements, en permettant par exemple le suivi et la localisation de réfugiés.
- Réseaux sociaux incluant les programmes radio avec participation des auditeurs. L’analyse de Twitter, Facebook et d’autres publications sur les réseaux sociaux permet d’identifier et de repérer des problèmes potentiels comme des foyers de pauvreté et des tensions ethniques, mais aussi les attitudes, le comportement et la participation à différents types de groupes.
- Données de recherche sur internet. De telles données peuvent être utilisées pour prévoir les actions futures. Les recherches d’informations sur les engrais pourraient par exemple fournir des indications sur des décisions agricoles futures.
- Plateformes de données intégrées et fichiers de données d’agences. L’analyse des données permet de fusionner de multiples sources de données dans une seule plateforme de manière à identifier des relations qui n’étaient pas reconnues auparavant.
- Données biométriques. Les indicateurs de santé et les autres indicateurs biométriques peuvent être suivis à travers des moniteurs associés aux corps des personnes ou des animaux d’élevage.
De nombreuses techniques peuvent être utilisées pour élaborer des modèles incluant un prétest et un posttest (référence/fin du projet), avec ou sans groupe de comparaison. Les données générées par les images satellitaires et d’autres sources peuvent être utilisées également pour élaborer des modèles solides d’un point de vue statistique, recourant au groupe de comparaison, en utilisant des techniques comme l’appariement par calcul des propensions. De nombreuses technologies peuvent aussi générer des données chronologiques continues permettant l’utilisation de modèles plus sophistiqués.
Encadré 1. Exemples de l’utilisation/du potentiel des données massives pour les évaluations alimentaires et agricoles |
|---|
Données satellitaires: dans le cadre d’un vaste programme de réhabilitation du système d’irrigation de la FAO en Afghanistan, l’équipe d’évaluation a eu recours à Google Earth pour vérifier les informations préliminaires fournies par les enquêteurs concernant l’étendue des canaux réhabilités et les changements sur la végétation, en comparant les conditions avant et après le programme. Dans le cadre de l’évaluation de l’impact mise en œuvre par le PAM du Système d’assurance du bétail en Éthiopie, l’indice de végétation a été utilisé comme indicateur de la sécheresse affectant alors les moyens d’existence des éleveurs, en leur donnant le droit de percevoir des indemnités d’assurance |
Capteurs à distance: Le FIDA a eu recours aux capteurs à distance dans une évaluation récente de la stratégie et du programme de pays au Népal pour identifier l’état des écosystèmes sensibles comme les versants montagneux inhabités et suivre la détérioration de la végétation liée à l’activité humaine et d’élevage. |
Données de localisation GPS: elles peuvent être utilisées pour suivre les parcours migratoires à partir des téléphones disposant du GPS ou du temps passé par les femmes pour collecter l’eau. |
Données des réseaux sociaux: pour identifier les principaux foyers potentiels de pauvreté à travers la fréquence accrue des termes associés à la faim par exemple. |
| Programmes de radio avec participation des auditeurs: l’analyse textuelle peut être utilisée pour documenter la fréquence des références à différents problèmes et préoccupations des agriculteurs dans diverses régions |
Données de recherche sur internet: utilisation de la fréquence des recherches d’informations sur les villes de destination pour prévoir les migrations des zones fortement affectées par le chômage vers des zones moins affectées. |
Fichiers PDF et autres documents organisationnels (données transactionnelles): fusion de documents organisationnels pour créer une plateforme de données intégrée afin d’identifier des associations et des modèles non détectés auparavant. |
| Plateformes de données intégrées qui fusionnent de nombreux fichiers de données d’enquêtes secondaires, des registres publics et les fichiers clients d’agences de services sociaux. Cela permet l’identification des modèles et l’analyse des effets des variables contextuelles de la performance de programme |
| Données biométriques [le «quantified self» ou mesure de soi]: les approches efficientes en termes de coûts pour collecter des données de santé ou biométriques sur les individus et les communautés. |
La transition vers de nouveaux écosystèmes d’informations pose plusieurs défis
L’intégration réussie des données massives dans le domaine de l’évaluation requerra le renforcement des liens entre les évaluateurs et les experts en science des données ainsi que le développement d’une approche commune pour l’évaluation de programmes. Un travail commun s’avérerait donc nécessaire en matière de développement des capacités, de travaux d’évaluation pilote et de renforcement d’équipe pour surmonter les malentendus voire même, dans certains cas, la défiance. Le jeu en vaudrait vraiment la chandelle.
---
[1] Le site internet UN Global Pulse https://www.unglobalpulse.org/ présente plus de 100 cas d’étude illustrant l’application des ces techniques dans les différents secteurs du développement