Dans ce second volet du recueil d’entretiens en trois parties réunissant les réflexions des dirigeants et responsables impliqués actuellement dans des évaluations dans le domaine de l’aide humanitaire et du développement, nos questions ont porté sur comment la pandémie affecte la pratique de l’évaluation et où placer la limite du Do no Harm («ne faire aucun mal») (première partie disponible ici).
Dr. Robina Shaheen, Responsable mondial des services de suivi, d’évaluation et d’apprentissage, Action contre la Faim, Royaume-Uni: La collecte des données pèse à présent plus lourdement sur les personnes interrogées. En plus du temps qu’elles doivent consacrer pour répondre aux questions des évaluateurs, elles peuvent également avoir besoin d’un accès à internet et aux dispositifs mobiles. À défaut de la possibilité pour les évaluateurs de couvrir ces coûts ou, pour les personnes interrogées, de les assumer elles-mêmes, nous sommes contraints de nous fier à un échantillon de convenance, en accédant et nous fiant aux personnes interrogées qui ont des moyens de communication appropriés et peuvent supporter les coûts le cas échéant. Cela n’est pas idéal et ajoute des biais qui affectent les conclusions générales et peuvent potentiellement ne pas fournir une représentation précise et dynamique des résultats et des processus.
Les personnes qui sont peu susceptibles d’avoir un accès aux technologies et dispositifs nécessaires sont les pauvres et les plus vulnérables. Cela signifie donc que leur voix ne sera pas entendue à un moment où l’impact sur ces groupes sera particulièrement important et où nous avons besoin plus que jamais d’entendre leur voix afin d’adapter les programmes.
Muriel Visser, chef d’équipe d’évaluation des contributions aux ODD des programmes de repas scolaires du PAM: Le risque le plus important est que les évaluations soient différées ou jugées moins prioritaires lors de la mise en œuvre à un moment où l’apprentissage par l’expérience est plus important que jamais. Dans une perspective «Do No Harm», il est important de ne pas demander aux évaluateurs/chercheurs nationaux dans le pays de prendre des risques pour leur propre santé et celle de leur famille que les évaluateurs ou le client ne prendraient pas. Il est important d’assurer que la collecte des données ne mette pas en danger les bénéficiaires ou les autres informateurs. Cela signifie que la collecte des données se déroulera plus probablement à distance et/ou sera menée sur une base individuelle ou avec de très petits groupes. Les évaluations couvriront généralement une période plus longue que celle liée au Covid-19. Les effets du Covid-19 risquent de rendre plus difficile la possibilité de brosser le tableau de la situation avant la pandémie en raison des problèmes de disponibilité des informateurs principaux mais aussi parce qu’il est possible que le Covid-19 ait affecté de manière substantielle beaucoup des résultats attendus des interventions.
Gaby Duffy, Chargée principal d’évaluation du PAM: Je ne vois pas de menaces spécifiques pesant sur l’indépendance. La crédibilité est le fruit d’un processus rigoureux et de données sûres, c’est pourquoi le défi à relever est certainement lié à la capacité de collecter suffisamment de données primaires et d’être transparents concernant les nouvelles contraintes qui apparaissent lors de l’évaluation. Dans certains cas, lorsque la collecte des données à distance n’est pas faisable et que les sources de données secondaires sont fragiles, le Bureau d’évaluation du PAM (OEV) a décidé d’annuler l’évaluation. La perspective «Do No Harm» guide mes décisions en tant que responsable d’évaluation. Dans les cas où les missions de terrain pourraient être possibles, je me pose encore cette question: est-ce la bonne chose à faire? Suis-je en train d’exposer les évaluateurs, les bénéficiaires et les autres parties prenantes à un risque en faisant voyager une équipe internationale vers ce pays pour réaliser des entretiens? S’il existe un risque minimum, c’est que ce n’est pas la bonne chose à faire.
Martine Van de Velde, chef de l’équipe d’évaluation du programme stratégique de pays du PAM au Liban: La principale difficulté a été d’assurer que nous donnions la parole aux groupes de population vulnérables qui étaient ciblés par les interventions. L’évaluation est de nature stratégique et nous avons pu nous appuyer sur des évaluations réalisées avant l’épidémie de Covid-19. Ces évaluations précédentes mettaient un fort accent sur les consultations avec les bénéficiaires, ce qui nous a permis de prendre en compte les données primaires d’enquêtes et les transcriptions des discussions des groupes focaux. Initialement, nous envisagions d’intégrer dans l’équipe des évaluateurs basés dans les pays et de procéder à des consultations limitées dans les pays. Cependant, dans une perspective «Do No Harm», exposer les bénéficiaires et les collègues nationaux à des risques inconnus et évitables n’était pas acceptable.
Marie-Hélène Adrien, chef d’équipe d’évaluation de la Politique du PAM sur la Politique de coopération Sud-Sud et triangulaire: Les menaces concernent l’observation limitée du pays et le risque d’un accès restreint aux communautés n’ayant pas d’accès à internet pour des appels à distance. Même en cas de réouverture des frontières, les pays pourront avoir besoin de mettre en quarantaine les visiteurs ce qui signifiera des coûts additionnels pour l’évaluation. La perspective «Do No Harm» assure que le Covid-19 ne mette pas en danger la santé de l’évaluateur, du personnel du PAM, des partenaires du PAM et des parties prenantes.