EvalForward Talks - Les évaluations à distance pendant le COVID-19: comment pouvons-nous y faire face et nous adapter? Quelles sont les meilleures solutions?

Lors de la première d'une nouvelle série de partage de la connaissance ouverte aux membres de la Communauté, les participants ont partagé la manière dont ils ont adapté leur pratique d'évaluation pour gérer les restrictions imposées par la pandémie. La propagation généralisée et rapide du Covid-19 a fait basculer une grande part du travail d'évaluation vers des modalités à distance et soulevé de nouveaux défis et incertitudes aussi bien pour les responsables que pour les équipes d'évaluation [1].

Renate Roels, Responsable d'évaluation à la FAO, a ouvert la discussion en partageant les problématiques inattendues rencontrées et la réponse qu'elle y a apportée, notamment en gérant les équipes et les attentes à distance et en instaurant la confiance.

Les principaux domaines d'intérêt et les solutions pratiques mentionnés par les participants lors de la discussion sont présentés ci-après.

La collecte des données à distance

Les participants ont été amenés à faire preuve de créativité pour s'adapter au travail à distance, en recherchant de nouvelles manières pour collecter des données de terrain et atteindre les bénéficiaires vivant dans des zones reculées. Cette manière de travailler requiert certainement de notre part une plus grande attention à la manière dont nous impliquons les parties prenantes, à la programmation et à la découverte des instruments interactifs les plus adaptés à une équipe et un contexte donnés.

Par rapport aux échanges en face-à-face, les réunions en ligne doivent être organisées. Les évaluateurs doivent veiller à ce que des problèmes de technologie et de connexion n'entravent pas la collecte des informations et l'approche participative.

Selon l'un des participants: "Le principal défi du projet sur lequel je travaillais tenait à ce que les bénéficiaires se trouvaient dans la zone la plus reculée du pays et n'avaient pas d'accès aux instruments/dispositifs de communication, et encore moins à internet, certains d'entre eux n'avaient pas de téléphones portables pour communiquer."

Selon certains, revenir à l'ancienne méthode des entretiens téléphoniques peut être une manière plus directe et plus simple que d'échanger par mail pour atteindre les personnes. Ces personnes peuvent disposer d'un téléphone, en particulier dans les communautés locales, même si elles ne sont pas connectées à internet. La fonction de messagerie instantanée a également été  mentionnée comme un outil couramment utilisé et au fort potentiel, lorsque son utilisation est bien organisée. "Les enquêtes peuvent être facilement partagées à travers WhatsApp", a commenté l'un des participants.

Les participants ont recommandé d'autres technologies offrant des instruments pratiques pour la collecte et le partage des données à distance, notamment: KOBO https://www.kobo.com et ONA Data https://ona.io/home pour la collecte des données; Mural https://www.mural.co/ et Lino http://en.linoit.com/ qui sont en revanche des tableaux ou panneaux d'affichage en ligne pour la collaboration digitale (contributions anonymes) ou les réunions facilités, pouvant être utilisés en association avec la plateforme préférée de vidéoconférence, telle que la très populaire plateforme Zoom.

“Kobo est un outil formidable - il est possible de créer des questionnaires pour les recenseurs qui peuvent ajouter des photos et des coordonnées GPS. Lorsqu'ils captent le signal, tout est enregistré dans le cloud. L'avantage est que les données sont collectées immédiatement ­- sans dépendre des recenseurs qui les inséreraient plus tard. Dès le premier soir, il est possible de vérifier les réponses et de s'assurer que tout le monde a bien compris les questions. Il est possible de modifier les questions s'il y a un problème - sans être obligés d'attendre la fin de l'enquête", a estimé un participant.

Les autres instruments cités sont: Evalmapper, https://www.alnap.org/help-library/evaluation-map, carte électronique mise à disposition par un réseau visant à améliorer la performance de l'action humanitaire à travers l'apprentissage partagé (ALNAP). Cet instrument est conçu pour aider à la recherche de preuves d'évaluation en utilisant les informations issues des évaluations précédentes. Geographic Information Systems (GIS), le logiciel gratuit et open-source d'Open Foris et les outils Collect Earth toolset http://www.openforis.org/ permettent aux utilisateurs d'analyser les images satellitaires pour des finalités diverses, notamment la surveillance des terres agricoles et des zones urbaines.

Instaurer la confiance

L'un des principaux défis de l'évaluation à distance est d'instaurer la confiance malgré une communication par écrans interposés avec les membres de l'équipe et les contreparties. L'absence de moments informels tels que ceux qui ont lieu avant ou après une réunion, lors du partage d'un repas ou d'un déplacement en bus, génère inévitablement un environnement plus stérile.

L'une des manières de contrer cette difficulté est de créer des "espaces sûrs", par exemple en précisant que les conversations sur Zoom ou à travers d'autres instruments ne sont pas enregistrés.

Toutefois, la plupart des personnes estime qu'il n'est pas possible de remplacer un engagement complet et en personne. Comme l'a souligné l'un des participants: "Je pense encore que nous allons passer à côté des rencontres informelles sur le terrain. Pas uniquement celles avec les groupes focaux organisés - mais aussi les conversations en marge des réunions avec les membres des communautés ou celles en voiture avec les représentants de l'administration locale.".

Une autre manière de gérer la distance, partagée par Renate avec le groupe, a été de "visiter" virtuellement et de découvrir la zone du projet en utilisant Google Street View (www.google.com/streetview). La représentation visuelle de l’environnement du projet l'a aidée à comprendre l'environnement du projet et a ouvert la voie à un meilleur niveau d'interaction fondé sur la confiance.

Gérer les risques sanitaires

Envoyer un consultant sur le terrain et organiser des groupes focaux ou des réunions comporte un risque de transmission du Covid. Certains participants ont fait part de leur anxiété et ont exprimé leur inquiétude en voyant des photographies de visites de terrain où les personnes ne respectaient pas toujours la distanciation sociale ni ne portaient de masques.

L'une des solutions proposées a été de fournir des lignes directrices simples et faciles d'utilisation aux consultants et aux chefs de communautés, mais cela ne fonctionne pas toujours: "Dans notre projet au Népal, nous avons insisté pour que nos personnels utilisent des masques et appliquent d'autres mesures strictes, comme la distanciation, etc. Nous essayons d'organiser des réunions en extérieur dans la mesure du possible. Mais de nombreux membres des communautés n'en voient pas l'intérêt."

Les participants ont évoqué l'importance d'un dialogue régulier et ouvert avec les membres de l'équipe et les consultants locaux afin d'exprimer leurs préoccupations et de partager leurs difficultés sur le terrain. Selon eux, les membres de l'équipe devraient se tenir prêts à changer leurs plans et à basculer vers des modalités entièrement à distance à tout moment.

Risque de surcharge

Certains participants ont évoqué leur sentiment de culpabilité lorsqu'ils ont abordé des personnes pour leur demander les informations et données nécessaires. Ils ont dû faire face à des situations difficiles sur le terrain, avec des personnes accablées par le travail, les soucis, la douleur, le stress psychologique et les restrictions et risques liés au virus. Le stress et la sous-performance liés à des problèmes psychologiques ou physiques ainsi qu'à des changements dans les équipes en raison de la pandémie ont affecté le travail d'évaluation. Là encore, la communication régulière avec les membres de l'équipe a été suggérée.

Programme et s'adapter

Une programmation adéquate peut contribuer dans une large mesure à limiter l'impact et les risques de ces difficultés. Quelle information est réellement nécessaire? Est-il possible de la trouver ailleurs? En d'autres mots: "Il faut choisir la meilleure manière de collecter ce qui est nécessaire, qui ne sera pas nécessairement un entretien ou un mail."

En ce sens, la triangulation peut devenir extrêmement difficile. L'une des manières de contourner le problème est d'être honnête quant aux limitations et d'utiliser une terminologie différente, par exemple, en parlant d'"exemples" plutôt que de "meilleures pratiques".

Nouvelles opportunités

En réfléchissant à la manière dont le travail a évolué en 2020, il est apparu de manière évidente que des opportunités d'amélioration ont émergé. L'élargissement du recrutement et des responsabilités des consultants locaux encourage par exemple le renforcement des capacités d'évaluation au niveau national.

Les réunions en ligne ont aussi élargi le spectre des participants, permettant d'inviter des participants provenant de différentes régions, avec une réduction des coûts de déplacements et une baisse de l'empreinte carbone. L'un des participants a ainsi déclaré: "L'expérience du Covid-19 nous a permis d'accéder à un calibre de personnes interrogées auquel nous n'aurions probablement pas eu accès."

---

Les Evalforward Talks visent à organiser des conversations informelles entre les membres afin d'encourager le soutien entre pairs et l'expression des difficultés, préoccupations et enseignements de manière ouverte et amicale.

Veuillez nous contacter si vous souhaitez proposer la prochaine session.

[1] Voir aussi la série des blogs d'EvalForward Les évaluations durant la période de Covid 19