Comment adapter notre approche d’évaluation à l’impact de la pandémie COVID-19?
Chargé de diriger un certain nombre d’évaluations liées à la sécurité alimentaire, j’ai été confronté au défi d’adapter mon travail à l’impact de la pandémie de Covid-19. Les défis et les solutions ont varié selon des étapes auxquelles se trouvent ces évaluations.
La finalisation et la diffusion des résultats de l’évaluation sembleraient les plus faciles à ajuster, en transfomant les événements de diffusion planifiés en évènements en ligne ; ceci avec l’espoir que les participants s’adapteront à la forme.
Plus compliqué a été d’adapter rapidement notre approche d’une évaluation en cours. De toute évidence, la capacité d’adaptation de chaque évaluation dépendra de ses caractéristiques spécifiques. Dans notre cas - une évaluation stratégique s’appuyant plusieurs d’études de cas de pays- nous nous sommes adaptés assez facilement, commutant toutes les interviews, y compris dans les pays, à un format virtuel en utilisant des outils de communication tels que- Skype, Zoom, WhatsApp ou téléphone.
Bien que certains de nos interlocuteurs dans les pays aient été plus lents à réagir lorsqu’ils devaient eux-mêmes absorber la gestion des redéploiements dictés par la mise en place du confinement dans leurs pays, nous avons pu atteindre un large éventail d’acteurs, y compris des gouvernement, agences des Nations Unies, donateurs, de la société civile ou autres. Une bonne planification de la façon de structurer et de mener des entrevues d’équipe à distance et les connaissances du contexte et les réseaux de l’équipe d’évaluation ont joué un rôle important dans la faisabilité d’adopter d’une approche virtuelle.
Ce qui est moins clair, c’est comment les effets de la pandémie pourraient devoir influencer le cadre de l’évaluation. Devrions-nous ajuster l’analyse et formuler les recommandations afin qu’elles demeurent pertinentes, étant donné les impacts incertains, mais potentiellement majeurs et durables, sur l’aide au développement?
Les choix pour faire avancer une évaluation naissante sont encore plus drastiques, et les options doivent être pesées entre la procédure virtuelle ou retarder de lancer l’évaluation jusqu’à ce que la situation se stabilise. Le choix dépendra beaucoup du contexte et de l’urgence de chaqu évaluation. Un autre facteur décisif est l’ampleur de l’engagement requis au niveau communautaire. Dans notre cas, le transfert de responsabilité vers des consultants nationaux avec un appui à distance sont à l’étude comme moyen d’aller de l’avant. Il y a une riche littérature sur la conduite d’évaluations dans des régions inaccessibles sur laquelle je vais m’appuyer pour continuer à m’adapter.
Je serais vraiment intéressé d’entendre vos expériences et réflexions. Comment adapter notre approche d’évaluation à cette nouvelle réalité à court et moyen terme?
Eddah Kanini (Board member: AfrEA, AGDEN & MEPAK
Monitoring, Evaluation and Gender Consultant/TrainerThank you, Nick Maunder, for bringing this up. The Covid-19 pandemic put to test every evaluator on how innovative and resilient one can be. My president’s directive to work from home, reached us when we are in the process of data collection in the field. This was an outcome harvesting. We had a replanning meeting over the night and decided to prioritize the focus group interviews (the stories) to avoid being locked down away from our homes. Focus group discussions would have been challenging to collect through skypes or telephone calls. The storytellers (FGD) are mostly community members. They have challenges in accessing bundles, telephones, internet, and most other forms of communication.
The rest of the data from the key informants (substantiating) was collected through skype meeting, telephone calls and WhatsApp calls. It was not easy as put, but eventually, we were happy with the effort we put and the data collected.
Therefore, the evaluators need to continually remind themselves on what the goal of a particular evaluation is. And how best they can gather the data.
Alena Lappo Voronetskaya
Evaluation Officer (IAEA); Board Member (European Evaluation Society)Chers membres,
Suite à ce fil de discussion opportun sur la façon d’adapter nos évaluations à l’époque de Covid-19, je partage le blog de collègues de la Banque Mondiale et d’experts sur les méthodes d’évaluation. Le blog (en anglais) fournit un arbre de décision "Faire des choix sur la conception de l’évaluation en période de COVID-19" et quelques exemples pratiques.
Alena Lappo
Claudia Martinez Mansell
Evaluation Manager FAOSuite aux questions soulevées sur les enquêtes téléphoniques, je voudrais partager notre expérience récente d’une évaluation en cours d’un projet de gestion des déchets dans le camp de réfugiés de Zaatari, qui accueille des réfugiés syriens en Jordanie. Le projet de quatre ans a été financé par l’Union Européenne et mis en œuvre par la FAO.
Étant donné que toutes les missions d’évaluation de la FAO ont été annulées, mais que nous avions déjà recruté une équipe pour effectuer l’évaluation, nous avons décidé de faire le plus possible de l’évaluation à distance. Le projet visait à améliorer les moyens de subsistance grâce à l’augmentation des possibilités d’emploi vert à travers l’utilisation intégrale des résidus d’eaux usées traitées et de biosolides dans la production d’énergie renouvelable et de compost. Étant donné que le projet comptait un petit nombre de bénéficiaires directs - 33 personnes (principalement des femmes) employées à l’unité de ségrégation des déchets - et que l’équipe du projet de la FAO avait tous leurs coordonnées, nous avons décidé d’entreprendre des entretiens téléphoniques à distance pour demander leur avis sur le projet.
Voici quelques leçons:
Les réfugiés syriens du camp de Zaatari ont un très haut niveau de propriété des téléphones, de sorte que notre cas pourrait ne pas s’appliquer dans tous les contextes. Comme l’a également souligné la contribution précédente, lorsqu’il s’agit de passer d’entrevues en personne à des entrevues téléphoniques, il est important d’être au courant des compromis. Les entrevues téléphoniques sont également loin d’être parfaites ; dans notre cas, alors que nous avons eu une conversation très riche, nous avons manqué le langage corporel et d’autres informations et aspects de l’observation visuelle qui vous aident à mieux comprendre les choses - sont-ils à l’aise de parler? Comment l’équipe du projet et les bénéficiaires se rapportent-ils les uns aux autres?
Isha Miranda
Visiting Lecturer and Independent Evaluator Independent ConsultantAujourd’hui, l’évaluation ne peut plus être un exercice autonome.
Dans le contexte de cette crise, elle a encore plus besoin de devenir un processus continu et axé sur l’action tout au long de l’intervention.
Elle doit contribuer concrètement au bien-être social, environnemental et économique des gens ainsi qu’à la paix au niveau local, régional et mondiale.
Je cite Michael Quin Patton : « Tous les évaluateurs doivent maintenant devenir évaluateurs du développement, capables de s’adapter à des systèmes dynamiques complexes, de se préparer à l’inconnu, aux incertitudes, aux turbulences, et au manque de contrôle, aux inattendus. C’est le contexte actuel dans le monde en général et c’est dans ce monde que l’évaluation existera dans un avenir prévisible. »et je recommande de lire son blog (en anglais): https://bluemarbleeval.org/latest/evaluation-implications-coronavirus-global-health-pandemic-emergency
Isha Wedasinghe Miranda
Independent Evaluator and Programme Management Consultant
Sri Lanka
Bintou Nimaga
consultantBonjour à vous chers membres !
Je remercie NICK MAUDER pour avoir lancer cette initiative de réflexion parmi nous. En effet, je partage parfaitement ce constat qui engendre l’arrêt des activités ordinairement menées notamment celles portant sur les exercices d’évaluation. En fait, il s’agit d’une situation imprévue, mais qui engendre des réflexions mais aussi donne l’opportunité de renforcer les approches jusque-là utilisées. J’ai eu souvent l’opportunité de gérer des diagnostics dans des zones de conflits où les déplacements ne sont pas possibles pour cause d’insécurité. Dans ces cas, j’ai utilisé des méthodes d’enquêtes par "téléphone". Ce type d’enquête nécessite des principes entre autres :
Néanmoins, la méthode nécessite plus d’efforts de triangulation pour vérifier les données collectées. Il faut dire qu’il s’agit d’une méthodologie de rechange mais pas de remplacement du contact humain. En effet, le contact humain reste toujours le meilleur moyen d’évaluation car permet à l’évaluateur de faire des constats et des observations personnelles qui peuvent argumenter les appréciations des faits.
Alena Lappo Voronetskaya
Evaluation Officer (IAEA); Board Member (European Evaluation Society)Chers collègues,
Merci beaucoup à Nick d’avoir commencé ce sujet et cette discussion très pertinents.
Je tiens tout particulièrement à souligner la responsabilité éthique que nous portons en tant qu’évaluateurs mentionnés par Carlos. Certains pays n’ont peut-être pas encore de restrictions majeures. En fait, il serait légal pour l’équipe locale de mener des groupes de discussion et des entrevues en personne. Toutefois, c’est à l’évaluateur de décider s’il est éthique. Cela pourrait impliquer que même les consultants locaux devraient effectuer la collecte de données par le biais d’outils d’engagement en ligne. C’est récemment arrivé à mon collègue qui a géré une évaluation en Indonésie et au Brésil où l’équipe a décidé d’éviter la collecte de données en personne par des consultants des deux pays, car ils le jugeaient contraire à l’éthique.
Comme on ne sait pas grand-chose de Covid-19, toute décision que nous prenons en ce qui concerne nos évaluations actuelles et futures sera fondée sur des données imparfaites. La science présente des scénarios différents, mais certains d’entre eux suggèrent qu’il pourrait prendre jusqu’à 1,5 ans pour que la situation sanitaire se stabilise. Cette urgence sanitaire pourrait être une bonne occasion d’apprendre à concevoir une méthodologie pour une évaluation crédible à distance.
Le 1er avril, nos collègues de l’USAID proposent un webinaire gratuit : « Discussion on Challenges and Strategies for M&E in the Time of COVID-19 » (en anglais). Les membres intéressés peuvent s’inscrire ici :https://www.eventbrite.com/e/discussion-on-challenges-and-strategies-for-me-in-the-time-of-covid-19-registration-100817255124
Sinceres salutations
Alena
Carlos Tarazona
Senior Evaluation Officer FAOCher Nick,
Merci de votre post très intéressant, et de partager votre expérience dans la lutte avec cet énorme défi. Je tiens à partager quelques réflexions, du point de vue de mon rôle d’évaluateur et de commissaire d’évaluations.
À court terme, je me pose la question de la valeur que les acteurs peuvent accorder aux évaluations effectuées à distance et, à moyen terme, de la menace que cela représente pour l’évaluation en tant que profession.
Quelle est la valeur ajoutée d’une évaluation qui se fait à distance? Dans quelques évaluations en cours avec de grandes composantes sur le terrain, nous sommes confrontés à des problèmes dont nous ne devrions pas sous-estimer la conséquence car ils pourraient réduire la crédibilité de l’ensemble de l’exercice (incapacité d’observer les changements de première main, la dépendance à l’évalué pour choisir qui participe et qui pas, les limites à la triangulation avec les bénéficiaires et les partenaires locaux, etc.) et mettre nos équipes en danger d’être contestées au cas où elles arriveraient à des conclusions négatives ou erronées, sinon inexactes.
Ensuite, l’évaluation en tant que profession : si nous faisons les choses à distance et sans triangulation crédible et participation ascendante, qu’est-ce qui nous différencie de ceux qui font des analyses ou même l’audit du rendement? Si nous préconisons des évaluations à distance, et que les collègues/partenaires se rendent compte que ceux-ci peuvent être faits à moindre coût et de manière non rigureuse, nous pourrions avoir des problèmes à l’avenir : i) vendre l’évaluation comme un outil distinctif et vraiment d’apprentissage, et ii) obtenir des dispositions / budgets d’évaluation adéquates.
En lien avec cela, l’impératif moral pour les évaluateurs de ne pas faire de mal. Compte tenu de toutes les inconnues que cette pandémie apporte, il est notre devoir de ne pas mettre plus de gens en danger, ni d’évaluateurs locaux ni de bénéficiaires. Essayer de reporter les évaluations si possible, du moins jusqu’à ce qu’il devienne plus clair ce que nous pourrions faire en toute sécurité sur le terrain et ce que nous ne pouvons pas, ce sera une chose juste et éthique à faire.
Sinceres salutations
Carlos