Re: Comment adapter notre approche d’évaluation à l’impact de la pandémie COVID-19?

Suite aux questions soulevées sur les enquêtes téléphoniques, je voudrais partager notre expérience récente d’une évaluation en cours d’un projet de gestion des déchets dans le camp de réfugiés de Zaatari, qui accueille des réfugiés syriens en Jordanie. Le projet de quatre ans a été financé par l’Union Européenne et mis en œuvre par la FAO.

Étant donné que toutes les missions d’évaluation de la FAO ont été annulées, mais que nous avions déjà recruté une équipe pour effectuer l’évaluation, nous avons décidé de faire le plus possible de l’évaluation à distance. Le projet visait à améliorer les moyens de subsistance grâce à l’augmentation des possibilités d’emploi vert à travers l’utilisation intégrale des résidus d’eaux usées traitées et de biosolides dans la production d’énergie renouvelable et de compost. Étant donné que le projet comptait un petit nombre de bénéficiaires directs - 33 personnes (principalement des femmes) employées à l’unité de ségrégation des déchets - et que l’équipe du projet de la FAO avait tous leurs coordonnées, nous avons décidé d’entreprendre des entretiens téléphoniques à distance pour demander leur avis sur le projet.

Voici quelques leçons:

  • L’importance de préavis : Avant les entrevues, l’équipe du projet a produit un bref dépliant en arabe avec des informations sur qui nous étions, pourquoi nous allions être en contact et l’objectif global de l’évaluation. Le dépliant a également inclus des détails sur le numéro de téléphone qui les appellerait et sur qui les appellerait. Ce dépliant a été imprimée et distribuée par le personnel du projet de la FAO aux 33 bénéficiaires travaillant dans l’unité de gestion des déchets.  Nous leur avons ensuite envoyé un message, nous nous présentant et nous leur disons que nous voulions leur parler et organiser un moment approprié pour parler.  Ces échanges de messages jusqu’à ce qu’un moment approprié soit trouvé pour parler, leur ont permis d’accepter d’être interviewée et ont veillé à ce qu’il y ait un consentement éclairé au moment de procéder à l’entrevue. Comme les messages initiaux ont été envoyés par WhatsApp, nous avons également eu l’avantage de voir si les messages arrivaient et étaient lus.
  • Une méthodologie flexible : Nous avons atteint les bénéficiaires en utilisant leur langue (arabe) et nous nous sommes vite rendu compte qu’en communiquant par téléphone (plutôt que par le biais de réunions au cours d’une mission d’évaluation), nous avions beaucoup plus de souplesse dans l’organisation des entretiens à un moment qui convenait aux bénéficiaires. La majorité des bénéficiaires étaient des femmes, de sorte qu’ils ont pu décider le meilleur moment pour elles, parmi toutes leurs tâches ménagères et professionnelles. Notre évaluateur arabophone était un homme et nous avons vite aussi appris que ce ne serait pas un problème lorsqu’il s’adresserait à elles. En fait, notre évaluateur a été agréablement surpris de voir à quel point les femmes bénéficiaires étaient bavardes et comment les normes sociales que l’on aurait pu rencontrer si les réunions étaient en personne, n’avaient pas un tel rôle de surcharge.  Un grand nombre de questions d’évaluation portaient sur les moyens de subsistance et nous avons également constaté que tous les répondants étaient très ouverts pour décrire leur situation financière et leurs implications économiques et que l’anonymat de l’appel dissipait les sensibilités du partage de l’information sur le revenu.
  • Puisque Covid-19 est un défi mondial, nous avons constaté que les bénéficiaires du projet comprenaient parfaitement pourquoi nous n’étions pas là en personne et les risques potentiels de se rencontrer, de sorte qu’ils étaient très compréhensifs et utiles - parfois, par exemple, offrant de retracer d’autres personnes de l’équipe si nous n’étions pas en mesure de les contacter. Certaines participantes se sont même portées volontaires pour participer à des discussions de groupe, que nous n’avons pas entreprises car nous ne voulions pas les encourager à se réunir en groupe en raison du risque de propagation de Covid-19. Du côté de la FAO, l’engagement limité de l’équipe de projet nous a également permis de communiquer plus directement avec les bénéficiaires et de moins de chances d’un biais de la part de l’équipe du projet, car nous avons interrogé 20 personnes sur un total de 33 personnes.

Les réfugiés syriens du camp de Zaatari ont un très haut niveau de propriété des téléphones, de sorte que notre cas pourrait ne pas s’appliquer dans tous les contextes. Comme l’a également souligné la contribution précédente, lorsqu’il s’agit de passer d’entrevues en personne à des entrevues téléphoniques, il est important d’être au courant des compromis. Les entrevues téléphoniques sont également loin d’être parfaites ; dans notre cas, alors que nous avons eu une conversation très riche, nous avons manqué le langage corporel et d’autres informations et aspects de l’observation visuelle qui vous aident à mieux comprendre les choses - sont-ils à l’aise de parler? Comment l’équipe du projet et les bénéficiaires se rapportent-ils les uns aux autres?