Comment la pandémie de COVID-19 a-t-elle affecté la conception des évaluations?

Avant la pandémie, les déplacements et les réunions en face à face avec les parties prenantes permettaient aux responsables d'évaluation d'avoir un certain degré de flexibilité et de contrôle sur les évaluations. Depuis, les responsables ont dû adapter la conception des évaluations pour assurer la surveillance à distance et le contrôle de la qualité. J'ai dirigé récemment une évaluation complexe sans déplacements ni réunions en présence avec les parties prenantes et les membres de l'équipe d'évaluation. Les restrictions étant probablement amenées à se poursuivre, je souhaite partager mon expérience.

À propos de l'évaluation

L'évaluation concernait le programme de coopération technique de la FAO (www.fao.org/technical-cooperation-programme/en ). Ce programme permet à la FAO de puiser dans les ressources de son programme régulier et de répondre aux besoins urgents des pays membres. Il est mis en œuvre au sein des pays membres en voie de développement dans toutes les régions. Notre évaluation a couvert aussi bien les aspects techniques qu'opérationnels du programme, notamment sa pertinence, son efficacité, son efficience, l'allocation et la distribution des fonds, sa gouvernance et sa gestion.

Composition de l'équipe      

J'ai maintenu une petite équipe principale afin de minimiser les coûts et les risques liés à la communication à distance sur différents fuseaux horaires. Les principaux membres comprenaient le Responsable de l'évaluation, le Chef d'équipe et un analyste en évaluation. En complément, une petite équipe d'analystes a réalisé des analyses quantitatives durant la phase initiale et huit consultants locaux ont réalisé 11 études de cas de pays lors de la phase principale de l'évaluation.

Adaptation de la conception de l'évaluation

Veiller à la cohérence des données collectées dans différents pays et régions a été un défi de taille. Nous avons donné plus de poids aux analyses documentaires. Les entretiens virtuels ont été mis en place de manière aussi systématique que possible pour ce qui est des sélections des pays, des projets et des parties prenantes dans chaque région afin d'éviter les biais d'échantillonnage. Les questions ont été formulées de manière aussi cohérente que possible pour l'ensemble des pays et des régions.

L'évaluation a été réalisée selon les étapes suivantes:

• Revue documentaire complète lors de la phase initiale;
• Analyse de données approfondie par une équipe d'analystes lors de la phase initiale;
• Enquêtes systématiques lors de la phase d'évaluation principale (une enquête pour les parties prenantes internes et une autre pour les parties prenantes externes, envoyées à tous les pays membres);
• Études de cas de pays par les consultants locaux lors de la phase principale;
• Entretiens virtuels (individuels et en groupe) lors des phases initiale et principale de l'évaluation;
• Rédaction du rapport.

Ce qui a fonctionné: une organisation avancée et une conception structurée

Nous avons collecté les données à travers des revues documentaires autant que possible avant les entretiens virtuels. Nous avons ensuite validé et exploité ces données à travers les entretiens.

Les questions clés ont été soumises aux parties prenantes avant les entretiens sur Zoom. Cette approche a fonctionné correctement, notamment avec les hauts fonctionnaires. Ils ont rassemblé les informations en interne avant l'entretien, ce qui nous a permis de gérer notre temps de manière plus efficiente. Des questions de suivi ont été abordées lors d'une réunion complémentaire sur Zoom ou par courrier électronique avec les personnes concernées.

Les études de cas ont été structurées de manière à permettre à chacun des consultants locaux de poser le même éventail de questions aux parties prenantes afin de fournir à l'équipe d'évaluation un ensemble analogue d'informations dans un format cohérent pour la consolidation. Les consultants ont participé à une réunion de préparation sur Zoom avant de réaliser leur étude. Les réunions de préparation individuelles ont bien fonctionné compte tenu des différences d'expériences et de capacités des consultants.

Nous avons appliqué des critères analogues pour sélectionner les pays et les projets faisant l'objet d'un examen plus approfondi dans chaque région. La sélection a été effectuée en collaboration avec les partenaires régionaux. Nous avons décidé le nombre de cas à sélectionner dans chaque région, en attribuant un poids proportionnel à la taille du portefeuille.

Les instruments informatiques utilisés pour les réunions virtuelles de groupe ont été relativement simples. Nous avons observé que le niveau des compétences informatiques parmi les parties prenantes était variable et que plusieurs hauts fonctionnaires gouvernementaux ne connaissaient pas bien ces instruments. Nous avons utilisé uniquement Zoom, Teams et Skype for Business pour effectuer les appels vidéo en recourant parfois au partage d'écran de notre côté.

L'évaluation ayant donné un poids plus important aux analyses documentaires, nous avons été en mesure de produire des documents séparés utilisant les résultats des analyses documentaires. Une conception cohérente appliquée dans différents pays et régions a permis d'entreprendre plus facilement les analyses impliquant plusieurs pays et plusieurs régions.

Capacités et compétences à développer

Il est essentiel de s'appuyer sur les capacités nationales. Alors que la communication virtuelle  sans déplacement devient une nouvelle norme, la qualité de la collecte des données de terrain et une solide analyse des données sont essentielles pour une évaluation réussie. Il est plus important que jamais de renforcer la capacité nationale d'évaluation dans la collecte, la validation et l'analyse des données, ainsi que la capacité d'auto-évaluation. L'utilisation des données quantitatives contribue à atténuer le risque d'une interprétation incohérente des données qualitatives collectées dans différents lieux par différentes personnes. Les évaluateurs devraient donc améliorer leurs compétences en échantillonnage et analyse de données quantitatives.

En résumé

L'évaluation entièrement virtuelle est possible. Une conception structurée en est la clef. Elle offrira davantage d'opportunités de collaboration avec les partenaires locaux et d'application d'une analyse des données plus rigoureuse.