Comment la pandémie de Covid-19 et les restrictions de déplacement qui en résultent affectent-t-elles la mise en œuvre des évaluations?

©WFP

Évaluation durant la période de Covid-19 Comment la pandémie de Covid-19 et les restrictions de déplacement qui en résultent affectent-t-elles la mise en œuvre des évaluations?

À l’occasion du lancement d’une nouvelle série sur l'Évaluation durant la période de Covid-19, voici le premier volet d’un recueil d’entretiens en trois parties réunissant les réflexions des dirigeants et responsables impliqués actuellement dans des évaluations dans le domaine du développement humanitaire sur la manière dont la pandémie affecte la pratique de l’évaluation. 

Dr. Robina Shaheen, Responsable mondial des services de suivi, d’évaluation et d’apprentissage, Action contre la Faim, Royaume-Uni: le principal effet a concerné notre possibilité de proposer des méthodologies qui nécessitent la collecte en personne de données dans le pays. Elles auraient été mises en place par des personnels internationaux et/ou des équipes de collecte de données dans le pays. Avant le Covid-19, l’accès direct aux personnes interrogées dans le pays assurait un contrôle direct et performant ainsi que la possibilité de piloter et garantir la qualité. La situation actuelle nous a contraints à réfléchir à notre utilisation des instruments à distance aussi bien pour l’accès aux personnes à interroger que pour la collecte des données sans risque pour les évaluateurs et les personnes interrogées. Si nous avons utilisé les appareils mobiles par le passé pour collecter les données, le nouveau défi consiste désormais à accéder à distance aux personnes à interroger et aux sites. Il nous faut donc examiner les technologies audio-visuelles à travers lesquelles il sera possible de collecter à distance des entretiens, des discussions de groupe focal et des données d’observation. Toutefois, si les évaluateurs peuvent avoir accès aux appareils et technologies pertinents, la principale difficulté concerne l’accès à ces derniers pour les personnes interrogées et les coûts relatifs. Les réseaux de télécommunication ne sont pas par exemple toujours fiables et l’utilisation mobile et internet ont un coût élevé.

Muriel Visser, chef d’équipe d’évaluation des contributions aux ODD des programmes de repas scolaires du PAM: les restrictions de voyage ont contraint les évaluations à opter pour des réunions/entretiens à distance ainsi que des méthodes à distance pour le travail d’équipe. Ceci est moins préjudiciable pour les évaluations s’appuyant sur des méthodes combinées, pour lesquelles il est possible de modifier l’équilibre entre les différentes méthodes et les principales manières de travailler, et pour les évaluations stratégiques, où la collecte des données ne dépend pas aussi fortement des enquêtes de terrain, des entretiens en personne et des visites sur les sites du projet. Les défis à affronter dans de telles situations sont bien plus importants.

La communication à distance a des aspects positifs, mais aussi des aspects négatifs. En premier lieu, les «missions» initiales s’allongent lorsqu’elles sont virtuelles, car la contrainte qui consistait à concentrer les réunions sur une période spécifique et brève lors de la présence des évaluateurs dans le pays est levée. En second lieu, lorsqu’une équipe d’évaluation ne peut pas se rencontrer physiquement lors d’un atelier de travail ou de tout autre travail de préparation de l’évaluation, il est opportun d’étaler l’atelier de travail d’équipe sur différentes sessions virtuelles, plutôt que de concentrer le travail de collaboration sur une ou deux journées. Cela présente l’avantage d’avoir un temps de réflexion entre deux réunions plus courtes tout en réduisant la fatigue constatée lors des réunions à distance. En dernier lieu, pour atteindre les informateurs, en particulier aux niveaux du pays et des bureaux de terrain, ou, parfois, lorsque la technologie pose des problèmes, un temps supplémentaire doit être pris en compte pour affronter ces difficultés. Le rôle du point focal de l’évaluation auprès du client est encore plus important, un temps important étant nécessaire pour identifier les bons informateurs lors de la phase initiale.

Gaby Duffy, Chargée principal d’évaluation du PAM: l’impact le plus fort a concerné les missions de terrain de collecte des données primaires. Nos évaluateurs ont été contraints de trouver des méthodes alternatives pour recueillir les points de vue des parties prenantes, la plupart du temps en utilisant des instruments de collecte de données à distance. Cela a aussi impliqué un usage et une analyse plus solide des données secondaires. Ces décisions ont été prises conjointement avec les collègues de terrain et les évaluateurs, qui sont disposés à s’adapter aux situations changeantes. En fonction des évolutions de la pandémie, le programme de mise en œuvre des évaluations est revu, afin d’apprécier si les missions de terrain sont effectivement faisables et sûres. Une grande dose de flexibilité est donc nécessaire.

Martine Van de Velde, chef de l’équipe d’évaluation du programme stratégique de pays du PAM au Liban: les restrictions de voyage ont exclu les missions de consultation des parties prenantes dans le pays basées sur des rencontres en personne et ont empêché les évaluateurs d’observer les résultats de l’intervention sur le terrain. Pour procéder avec l’évaluation, nous avons dû nous adapter rapidement à une approche à distance, basée sur des entrevues virtuelles avec les parties prenantes et un accent plus fort mis sur la revue des preuves documentaires. Le personnel du PAM et les évaluateurs ont dû collaborer étroitement et convenir rapidement des approches à adopter pour le travail à distance. Les évaluateurs et les parties prenantes ont des inquiétudes pour le futur liées à la pandémie et à l’équilibre entre le travail de la maison et les exigences familiales. Les problèmes de connexion ont parfois été une difficulté supplémentaire à affronter.

Marie-Hélène Adrien, chef d’équipe d’évaluation de la Politique du PAM sur la Politique de coopération Sud-Sud et triangulaire: des changements peuvent être notés dans quatre domaines principaux. Premièrement, la méthodologie: il n’est pas possible de voyager pour les missions initiales auprès du Siège ni auprès des pays pilotes pour tester nos instruments de collecte des données. Deuxièmement, le timing: le timing et la méthodologie pour la collecte des données en personne sont empreints d’incertitude. Troisièmement, l’échantillonnage des pays: certains Bureaux de pays ne sont pas capables d’accueillir une missions d’évaluation. Et quatrièmement, les coûts: les propositions sont revues afin de refléter les implications liées au Covid-19.

Comment nous sommes-nous adaptés? Tout d’abord, nous avons mis en œuvre une phase initiale à distance; ensuite, nous avons établi des étapes de vérification des décisions dans le calendrier de l’évaluation afin de revoir la méthodologie; et enfin, nous avons allongé les délais pour la mise en œuvre de l’évaluation – la période prévue est immanquablement plus longue. Ce qui pouvait être réalisé lors d’une visite en personne de quatre jours a été étalé sur deux semaines.

 

La série Évaluation durant la période de Covid-19 est un espace qui offre aux dirigeants, responsables et experts en évaluation la possibilité de partager leurs points de vue quant aux implications possibles de la pandémie sur la pratique de l’évaluation.