En 2020, le Bureau indépendant de l'évaluation du FIDA a entrepris l'évaluation du Programme national d'autonomisation des communautés en Indonésie[1]. Il s'agissait d'un projet de développement piloté par la communauté (Community Driven Development, CDD) dans les provinces de Papouasie et Papouasie occidentale, dans la partie la plus orientale de l'Indonésie. Ces provinces sont caractérisées par leur éloignement, l'absence d'infrastructures, la faible présence de structures gouvernementales, l'agitation sociale dans certaines zones et la présence d'importantes populations autochtones.
En raison de l'épidémie de Covid-19, qui a éclaté au début du processus d'évaluation, les déplacement internationaux n'ont pas été possibles. La mobilité des consultants locaux a également été fortement restreinte, compte tenu du risque de diffusion du virus parmi les populations autochtones en cas de visites en présence. En conséquence, l'évaluation a dû adopter une méthodologie de collecte des données à distance, sans aucune visite de terrain.
Bien que la méthodologie ait fourni des conclusions utiles, elle a affecté la portée et le caractère inclusif de l'approche. En particulier, l'évaluation n'a pas pu atteindre son objectif initial de contribution à l'apprentissage mutuel et à l'autonomisation des communautés.
Les défis de “l'évaluation à distance”
L'évaluation de projets de développement piloté par la communauté requiert une forte interaction avec les parties prenantes. L'éloignement de la zone du projet et l'absence de couverture du réseau mobile ont rendu impossible la couverture d'un grand nombre de groupes communautaires. Un échantillonnage représentatif des groupes communautaires fondé sur la nature des interventions et les caractéristiques sociales a été imposé du fait de la faible qualité des données de suivi et évaluation. Aucun système de suivi et évaluation participatif fiable ni aucune donnée fiable relative aux produits et aux résultats exploitables pour l'évaluation n'étaient disponibles. Les seules données disponibles, bien qu'incomplètes, concernaient la liste des villages du projet et des groupes au sein de ces villages.
Parallèlement, les méthodes de collecte des données n'ont pas pu comprendre des observations directes, des discussions de groupe interactives, des entretiens de groupes focaux ou individuels - ce qui aurait permis une triangulation des résultats en temps réel.
L'absence de couverture du réseau mobile en Papouasie et Papouasie occidentale a représenté une autre difficulté limitant la taille de l'échantillon De plus, pour joindre ne serait-ce qu'un répondant, de multiples appels ont été nécessaires pour établir une connexion.
La taille et la représentativité des communautés sélectionnées dans l'échantillon pour cette évaluation ont donc été nécessairement limitées. Ainsi, l'équipe d'évaluation a adopté une stratégie d'entretiens verticale et décidé de privilégier l'approfondissement plutôt que l'amplitude de l'échantillonnage. Ce faisant, l'équipe est parvenue à garantir la validité interne des résultats.
La solution: une approche verticale d'échantillonnage et de collecte des données
L'évaluation a adopté une approche ascendante (bottom-up approach). Elle a consisté à examiner les expériences et les bénéfices perçus par les groupes communautaires, tout d'abord à travers des entretiens, puis par triangulation avec les points de vue et les observations du personnel du projet tels que les facilitateurs au niveau des villages, des districts et des régences (kabupaten).
La stratégie d'entretien et de collecte des données a suivi la structure de facilitation verticale, composée des groupes communautaires, des facilitateurs au niveau des villages, des districts, des régences et des provinces.
Les villages ont été tout d'abord sélectionnés à travers une procédure d'échantillonnage aléatoire simple dans chaque province en recourant à la base de données des villages disponible; l'évaluation a ensuite sélectionné un échantillon aléatoire de groupes dans chacun des villages sélectionnés. Une fois le groupe communautaire identifié pour l'entretien, les facilitateurs soutenant ce groupe, directement et indirectement, au niveau du village, du district et de la régence ont été également identifiés et interrogés. Les questions n'ont été formulées à chaque niveau de la structure de facilitation qu'après que les entretiens du niveau inférieur ont été achevés. La stratégie verticale retenue pour les entretiens a permis à l'évaluation d'examiner les questions soulevées lors des entretiens à un niveau inférieur dans la structure de facilitation et de les valider lors des entretiens à un niveau supérieur et inversement.
Figure: approche d'échantillonnage verticale suivant la structure de facilitation du projet
Problèmes rencontrés lors du processus d'évaluation à distance
Incapacité à atteindre certains groupes communautaires sélectionnés en raison du manque de couverture du réseau mobile. Diversité linguistique en Papouasie et Papouasie occidentale et mauvaise maîtrise de la langue véhiculaire (Bahasa Indonesia) – Compte tenu de l'insuffisance d'une couverture du réseau mobile fiable, les consultants locaux ont effectué un appel préalable afin de fixer le rendez-vous avec les groupes de manière à ce qu'ils puissent être présents dans une zone mieux couverte par le réseau mobile. En raison de la diversité linguistique des populations autochtones, l'équipe d'évaluation a également envoyé les questions de l'entretien avant le rendez-vous afin que les membres des groupes puissent préparer leur réponse en Bahasa Indonesia. Cela a permis d'exploiter au mieux le temps et la couverture de réseau mobile limités. Dans les cas où les appels n'étaient pas suffisamment audibles en raison de problème de réseau, les enregistrements vidéo des réponses sur les questions sélectionnées ont été fournis par WhatsApp.
Saturation des interventions de développement et incapacité à distinguer les programmes – La Papouasie et la Papouasie occidentale bénéficient d'importants programmes publics et de nombreux projets financés par des donateurs. L'équipe d'évaluation a observé que les groupes cibles n'étaient pas capables de distinguer les différents programmes. Pour remédier à cette difficulté, l'équipe d'évaluation a procédé à un appel préalable pour présenter l'équipe et clarifier le projet faisant l'objet de l'examen.
Parler avec des femmes membres communautaires – L'évaluation s'est efforcée d'atteindre des femmes membres communautaires par téléphone. Or, dans certains cas, l'évaluation a constaté que des hommes prenaient le téléphone alors que les femmes étaient en train de parler avec les consultants nationaux, en insistant pour que l'équipe d'évaluation parle avec eux. L'équipe d'évaluation a pris soin d'éviter toute conséquence grave pour les femmes étant donné le taux élevé de violence domestique en Papouasie et Papouasie occidentale. Dans ces cas, il était prévu que l'équipe d'évaluation poursuive l'entretien avec l'homme en lui posant une ou deux questions avant de mettre fin à l'appel. La femme a alors été remplacée de manière aléatoire par une autre femme membre communautaire pour assurer l'intégrité de l'échantillon.
Réflexions finales sur la méthodologie d'évaluation
Le CDD donne le contrôle des décisions et des ressources aux communautés. Elles sont appelées à prendre des décisions éclairées sur la manière d'utiliser les ressources locales, les personnes qui en bénéficieront et selon quelles modalités. Elles devraient donc participer à l'évaluation dès le départ. Un système de suivi et évaluation participatif aurait été un élément clé d'un système de méthodes mixtes d'instruments d'évaluation. Idéalement, des indicateurs basés sur les personnes devraient devenir les principaux indicateurs de changement. Dans cette évaluation de performance de projet, un certain nombre de déclarations relatives au changement ont été faites par les agriculteurs eux-mêmes, comme par exemple: "Les étudiants sont venus nous observer et apprendre", "d'autres villages ont vu que nous avions des connaissances sur la culture de la noix de muscade et l'ont reconnu", "nous voulons créer une coopérative prochainement"; "nous n'avons pas eu de bénéfices nous savons juste que nous devons faire partie d'un groupe pour obtenir des bénéfices futurs"; "rien n'a changé, je dois toujours vendre mes produits moi-même". Les déclarations, qu'elles soient positives ou négatives fournissent des informations importantes sur les types d'indicateurs qui pourraient être évalués par la communauté.
En conclusion, cette évaluation est parvenue à fournir des informations précieuses sur ce projet, malgré les défis exceptionnels à relever. Dans une certaine mesure, elle est également parvenue à obtenir les appréciations des personnes sur ce qui a fonctionné ou pas. Selon l'équipe, dans un contexte de restriction liée à la pandémie, une évaluation à distance vaut mieux qu'aucune évaluation du tout. Néanmoins, une évaluation à distance ne saurait remplacer la nécessité de s'engager en présence avec les communautés et les personnes concernées.
[1] Programme Nasional Pemberdayaan Masyarakat – PNPM-Agriculture, en Indonésie. Le projet a été redéfini en 2016 et renommé "Village Development Project (VDP)" [Projet de développement des villages].
Hiswaty Hafid
Sr MRM Manager SwisscontactThank you, Johanna and Prashanth for presenting the evaluation results despite the remoteness challenges to deliver a participatory approach, I enjoy reading. During the pandemic, our organization also face the same situation in less remote areas like Kalimantan and Sulawesi, then forced us to improvise by hiring local consultants to conduct field activities.
Learning from the article and understanding the PNPM project involved abroad range of actors and introduced a new approach of development as we used to (after more than 20 years of Soeharto regime), the community-driven development program probably need baby steps in promoting community participation. Across Indonesia, building community-based institutions outside Bali and Java remain challenges, government-based supports institution at the village level able to sustain because of the continued support from the central government, re. village fund. Despite the growing number of administrative governments (re. new provinces, districts, and villages), good governance is still far from the expectation, the new administrative office is highly dependent on national supports while the community-based development requires some time to transforming, evolving and growing.
So I agree that people-centered indicators are necessary to assess for results of the bottom-up development approach before looking at the in-situ development. Indonesian often perceived development as establishing infrastructure, roads, electricity, schools, etc, this perception also reflecting the national development policy focus across different sectors.