Comment adapter notre approche d’évaluation à l’impact de la pandémie COVID-19?

Thank you, Nick Maunder, for bringing this up. The Covid-19 pandemic put to test every evaluator on how innovative and resilient one can be. My president’s directive to work from home, reached us when we are in the process of data collection in the field. This was an outcome harvesting. We had a replanning meeting over the night and decided to prioritize the focus group interviews (the stories) to avoid being locked down away from our homes. Focus group discussions would have been challenging to collect through skypes or telephone calls. The storytellers (FGD) are mostly community members. They have challenges in accessing bundles, telephones, internet, and most other forms of communication.

The rest of the data from the key informants (substantiating) was collected through skype meeting, telephone calls and WhatsApp calls. It was not easy as put, but eventually, we were happy with the effort we put and the data collected.

Therefore, the evaluators need to continually remind themselves on what the goal of a particular evaluation is. And how best they can gather the data.

Chers membres,

Suite à ce fil de discussion opportun sur la façon d’adapter nos évaluations à l’époque de Covid-19, je partage le blog de collègues de la Banque Mondiale et d’experts sur les méthodes d’évaluation. Le blog (en anglais) fournit un arbre de décision "Faire des choix sur la conception de l’évaluation en période de COVID-19" et quelques exemples pratiques. 

Alena Lappo

Suite aux questions soulevées sur les enquêtes téléphoniques, je voudrais partager notre expérience récente d’une évaluation en cours d’un projet de gestion des déchets dans le camp de réfugiés de Zaatari, qui accueille des réfugiés syriens en Jordanie. Le projet de quatre ans a été financé par l’Union Européenne et mis en œuvre par la FAO.

Étant donné que toutes les missions d’évaluation de la FAO ont été annulées, mais que nous avions déjà recruté une équipe pour effectuer l’évaluation, nous avons décidé de faire le plus possible de l’évaluation à distance. Le projet visait à améliorer les moyens de subsistance grâce à l’augmentation des possibilités d’emploi vert à travers l’utilisation intégrale des résidus d’eaux usées traitées et de biosolides dans la production d’énergie renouvelable et de compost. Étant donné que le projet comptait un petit nombre de bénéficiaires directs - 33 personnes (principalement des femmes) employées à l’unité de ségrégation des déchets - et que l’équipe du projet de la FAO avait tous leurs coordonnées, nous avons décidé d’entreprendre des entretiens téléphoniques à distance pour demander leur avis sur le projet.

Voici quelques leçons:

• L’importance de préavis : Avant les entrevues, l’équipe du projet a produit un bref dépliant en arabe avec des informations sur qui nous étions, pourquoi nous allions être en contact et l’objectif global de l’évaluation. Le dépliant a également inclus des détails sur le numéro de téléphone qui les appellerait et sur qui les appellerait. Ce dépliant a été imprimée et distribuée par le personnel du projet de la FAO aux 33 bénéficiaires travaillant dans l’unité de gestion des déchets.  Nous leur avons ensuite envoyé un message, nous nous présentant et nous leur disons que nous voulions leur parler et organiser un moment approprié pour parler.  Ces échanges de messages jusqu’à ce qu’un moment approprié soit trouvé pour parler, leur ont permis d’accepter d’être interviewée et ont veillé à ce qu’il y ait un consentement éclairé au moment de procéder à l’entrevue. Comme les messages initiaux ont été envoyés par WhatsApp, nous avons également eu l’avantage de voir si les messages arrivaient et étaient lus.
• Une méthodologie flexible : Nous avons atteint les bénéficiaires en utilisant leur langue (arabe) et nous nous sommes vite rendu compte qu’en communiquant par téléphone (plutôt que par le biais de réunions au cours d’une mission d’évaluation), nous avions beaucoup plus de souplesse dans l’organisation des entretiens à un moment qui convenait aux bénéficiaires. La majorité des bénéficiaires étaient des femmes, de sorte qu’ils ont pu décider le meilleur moment pour elles, parmi toutes leurs tâches ménagères et professionnelles. Notre évaluateur arabophone était un homme et nous avons vite aussi appris que ce ne serait pas un problème lorsqu’il s’adresserait à elles. En fait, notre évaluateur a été agréablement surpris de voir à quel point les femmes bénéficiaires étaient bavardes et comment les normes sociales que l’on aurait pu rencontrer si les réunions étaient en personne, n’avaient pas un tel rôle de surcharge.  Un grand nombre de questions d’évaluation portaient sur les moyens de subsistance et nous avons également constaté que tous les répondants étaient très ouverts pour décrire leur situation financière et leurs implications économiques et que l’anonymat de l’appel dissipait les sensibilités du partage de l’information sur le revenu.
• Puisque Covid-19 est un défi mondial, nous avons constaté que les bénéficiaires du projet comprenaient parfaitement pourquoi nous n’étions pas là en personne et les risques potentiels de se rencontrer, de sorte qu’ils étaient très compréhensifs et utiles - parfois, par exemple, offrant de retracer d’autres personnes de l’équipe si nous n’étions pas en mesure de les contacter. Certaines participantes se sont même portées volontaires pour participer à des discussions de groupe, que nous n’avons pas entreprises car nous ne voulions pas les encourager à se réunir en groupe en raison du risque de propagation de Covid-19. Du côté de la FAO, l’engagement limité de l’équipe de projet nous a également permis de communiquer plus directement avec les bénéficiaires et de moins de chances d’un biais de la part de l’équipe du projet, car nous avons interrogé 20 personnes sur un total de 33 personnes.

Les réfugiés syriens du camp de Zaatari ont un très haut niveau de propriété des téléphones, de sorte que notre cas pourrait ne pas s’appliquer dans tous les contextes. Comme l’a également souligné la contribution précédente, lorsqu’il s’agit de passer d’entrevues en personne à des entrevues téléphoniques, il est important d’être au courant des compromis. Les entrevues téléphoniques sont également loin d’être parfaites ; dans notre cas, alors que nous avons eu une conversation très riche, nous avons manqué le langage corporel et d’autres informations et aspects de l’observation visuelle qui vous aident à mieux comprendre les choses - sont-ils à l’aise de parler? Comment l’équipe du projet et les bénéficiaires se rapportent-ils les uns aux autres?

Aujourd’hui, l’évaluation ne peut plus être un exercice autonome.  

Dans le contexte de cette crise, elle a encore plus besoin de devenir un processus continu et axé sur l’action tout au long de l’intervention.

Elle doit contribuer concrètement au bien-être social, environnemental et économique des gens ainsi qu’à la paix au niveau local, régional et mondiale.

Je cite Michael Quin Patton : « Tous les évaluateurs doivent maintenant devenir évaluateurs du développement, capables de s’adapter à des systèmes dynamiques complexes, de se préparer à l’inconnu, aux incertitudes, aux turbulences, et au manque de contrôle, aux inattendus. C’est le contexte actuel dans le monde en général et c’est dans ce monde que l’évaluation existera dans un avenir prévisible. »et je recommande de lire son blog (en anglais): https://bluemarbleeval.org/latest/evaluation-implications-coronavirus-global-health-pandemic-emergency

Isha Wedasinghe Miranda
Independent Evaluator and Programme Management Consultant

Sri Lanka 

Bonjour à vous chers membres !

Je remercie NICK MAUDER pour avoir lancer cette initiative de réflexion parmi nous. En effet, je partage parfaitement ce constat qui engendre l’arrêt des activités ordinairement menées notamment celles portant sur les exercices d’évaluation.  En fait, il s’agit d’une situation imprévue, mais qui engendre des réflexions mais aussi donne l’opportunité de renforcer les approches jusque-là utilisées. J’ai eu souvent l’opportunité de gérer des diagnostics dans des zones de conflits où les déplacements ne sont pas possibles pour cause d’insécurité. Dans ces cas, j’ai utilisé des méthodes d’enquêtes par "téléphone". Ce type d’enquête nécessite des principes entre autres :

1. La formulation des questions courtes et précises, pour éviter de longues discussions ;
2.  Une gestion du temps assez rigoureuse car les personnes concernées peuvent se décourager vite par manque de contact physique direct ;
3. Une bonne orientation des discussions, rester concentrer le long de l’interview ;
4. La langue de l’interview est importante en ce sens que la personne interviewée doit se tenir à l’aise vis-à-vis de la compréhension des questions posées, souvent des interprètes sont nécessaires ;
5. Une bonne planification de l’interview peut souvent vous consommer du temps car il faut un moment de disponibilité totale de la personne ou du groupe ;   

Néanmoins, la méthode nécessite plus d’efforts de triangulation pour vérifier les données collectées. Il faut dire qu’il s’agit d’une méthodologie de rechange mais pas de remplacement du contact humain. En effet, le contact humain reste toujours le meilleur moyen d’évaluation car permet   à l’évaluateur de faire des constats et des observations personnelles qui peuvent argumenter les appréciations des faits.

Chers collègues,

Merci beaucoup à Nick d’avoir commencé ce sujet et cette discussion très pertinents.

Je tiens tout particulièrement à souligner la responsabilité éthique que nous portons en tant qu’évaluateurs mentionnés par Carlos. Certains pays n’ont peut-être pas encore de restrictions majeures. En fait, il serait légal pour l’équipe locale de mener des groupes de discussion et des entrevues en personne. Toutefois, c’est à l’évaluateur de décider s’il est éthique. Cela pourrait impliquer que même les consultants locaux devraient effectuer la collecte de données par le biais d’outils d’engagement en ligne. C’est récemment arrivé à mon collègue qui a géré une évaluation en Indonésie et au Brésil où l’équipe a décidé d’éviter la collecte de données en personne par des consultants des deux pays, car ils le jugeaient contraire à l’éthique.

Comme on ne sait pas grand-chose de Covid-19, toute décision que nous prenons en ce qui concerne nos évaluations actuelles et futures sera fondée sur des données imparfaites. La science présente des scénarios différents, mais certains d’entre eux suggèrent qu’il pourrait prendre jusqu’à 1,5 ans pour que la situation sanitaire se stabilise. Cette urgence sanitaire pourrait être une bonne occasion d’apprendre à concevoir une méthodologie pour une évaluation crédible à distance.

Le 1er avril, nos collègues de l’USAID proposent un webinaire gratuit : « Discussion on Challenges and Strategies for M&E in the Time of COVID-19 » (en anglais). Les membres intéressés peuvent s’inscrire ici :https://www.eventbrite.com/e/discussion-on-challenges-and-strategies-for-me-in-the-time-of-covid-19-registration-100817255124

Sinceres salutations

Alena

Cher Nick,

Merci de votre post très intéressant, et de partager votre expérience dans la lutte avec cet énorme défi. Je tiens à partager quelques réflexions, du point de vue de mon rôle d’évaluateur et de commissaire d’évaluations.

À court terme, je me pose la question de la valeur que les acteurs peuvent accorder aux évaluations effectuées à distance et, à moyen terme, de la menace que cela représente pour l’évaluation en tant que profession.

Quelle est la valeur ajoutée d’une évaluation qui se fait à distance? Dans quelques évaluations en cours avec de grandes composantes sur le terrain, nous sommes confrontés à des problèmes dont nous ne devrions pas sous-estimer la conséquence car ils pourraient réduire la crédibilité de l’ensemble de l’exercice (incapacité d’observer les changements de première main, la dépendance à l’évalué pour choisir qui participe et qui pas, les limites à la triangulation avec les bénéficiaires et les partenaires locaux, etc.) et mettre nos équipes en danger d’être contestées au cas où elles arriveraient à des conclusions négatives ou erronées, sinon inexactes.

Ensuite, l’évaluation en tant que profession : si nous faisons les choses à distance et sans triangulation crédible et participation ascendante, qu’est-ce qui nous différencie de ceux qui font des analyses ou même l’audit du rendement? Si nous préconisons des évaluations à distance, et que les collègues/partenaires se rendent compte que ceux-ci peuvent être faits à moindre coût et de manière non rigureuse, nous pourrions avoir des problèmes à l’avenir :  i) vendre l’évaluation comme un outil distinctif et vraiment d’apprentissage, et ii) obtenir des dispositions / budgets d’évaluation adéquates.

En lien avec cela, l’impératif moral pour les évaluateurs de ne pas faire de mal. Compte tenu de toutes les inconnues que cette pandémie apporte, il est notre devoir de ne pas mettre plus de gens en danger, ni d’évaluateurs locaux ni de bénéficiaires. Essayer de reporter les évaluations si possible, du moins jusqu’à ce qu’il devienne plus clair ce que nous pourrions faire en toute sécurité sur le terrain et ce que nous ne pouvons pas, ce sera une chose juste et éthique à faire.

Sinceres salutations

Carlos