Évaluation rapide pour mesurer l'impact de la pandémie COVID dans les zones montagneuses

Morocco
©FAO

Évaluation rapide pour mesurer l'impact de la pandémie COVID dans les zones montagneuses

Bonjour la communauté

Je travaille avec des ONG dans les zones montagneuses près de Marrakech et je suis membre de l'une d'entre elles. Nous voyons l'impact de la pandémie COVID sur les moyens de subsistance dans les communautés montagneuses avec lesquelles nous travaillons. En fait, pendant le confinement, parmi les communautés rurales, les communautés montagneuses ont le plus souffert de l'impact économique de la pandémie. Actuellement, la vie revient petit à petit à la «nouvelle normalité» mais les experts même au niveau international parlent de l'année 2022 comme la date où la vie pourrait revenir à la normale.

Nous avons essayé de développer des outils de mesure et nous avons conduit un premier essai pour notre communauté. Mais nous avons réalisé qu'il faut du temps et des ressources pour bien appréhender la situation pour pouvoir réagir efficacement.

Comment pouvons-nous faire des mesures rapides de l'impact du COVID sur les communautés afin d'être en mesure d'être proactif et / ou de réagir en temps opportun?

J'aimerais avoir des suggestions et votre expérience à ce propos.

Bien à vous 

Malika Bounfour, PhD

Ingénieur Agronome-Consultante 

Présidente de l'Association Ayur

Bonjour la Communauté

Tout d’abord, je voudrais vous remercier pour vos contributions par la description de vos expériences respectives très riches et par la proposition d’approches et outils pour que le processus de l’évaluation rapide réponde à son titre.

Les réponses ont fait ressortir des problèmes communs, à savoir le temps et les ressources nécessaires pour une mesure rapide des effets d’une interevntion ou du COVID 19. Ces ressources sont souvent plus importantes que celles planifiées.

Il y’a aussi la communication lente entre les différents partenaires ainsi que la disponibilité des données archivées et analysées qui ont été soulevés comme principaux facteurs dans la lenteur de la mise en œuvre des mesures rapides. 

Pour les solutions et outils proposés, Jennifer Mutua a parlé de faire attention aux imprévus lors de l'estimation du budget de l’évaluation. Carolina Turano a fait des propositions sur les voies d’amélioration de la communication entre partenaires pour rendre le processus agile. Elias SEGLA a proposé des outils de collecte de données et propose que l’équipe chargée de l’évaluation rapide soit interne avec un organigramme et un mode opératoire propre. La réponse de Nayeli Almanza décrit la méthodologie rapide de collecte des données pour mesurer l’impact du COVID 19 sur les populations migrantes et Aurélie Larmoyer donne  des suggestions pratiques de travail sur soi pour les individus et les équipes afin de réduire les temps dédiés au développement du protocol et des réactions qui peuvent être parfois déterminants  pour l’intervention.

 En résumé, je retiens que  1) il faut travailler sur le temps de communication entre les partenaires pendant le développement de l’approche ainsi que le feedback et la réaction; 2) qu’il faut utiliser les outils modernes, notamment les moyens virtuels et la téléphonie mobile; 3) que la question budgétaire reste posée et pourrait demander un travail innovateur de la part de l’équipe pour optimiser les résultats suivant le budget alloué.

Enfin, j’espère que cette question d’évaluation rapide attire l’attention qu’elle mérite et connaisse des développements surtout pendant cette crise COVID 19.

En vous remerciant encore une fois pour vos réponses et les références partagées, je reste à votre disposition pour d'autres échanges sur la question. 

Bien à Vous

Malika

 

Chère Malika,

Merci d'avoir soulevé une question aussi importante. Je la trouve intéressante à deux égards :

Premièrement, parce qu'elle soulève la question de savoir comment nous pouvons saisir les effets immédiats (ou à moyen terme) de la situation du COVID-19 sur nos réalités. De nombreux évaluateurs sont aux prises avec cette question. Certains collègues du système des Nations Unies se sont efforcés de dégager quelques orientations générales à cet égard. Par exemple, la récente publication du Bureau de l'évaluation de l'OIT (https://www.ilo.org/wcmsp5/groups/public/---ed_mas/---eval/documents/publication/wcms_757541.pdf ) pourrait être une source d'inspiration, car elle énumère, en annexe, des questions d'évaluation typiques qui correspondent au besoin de recueillir des informations spécifiques pertinentes pour le COVID-19.

Je trouve également votre question intéressante parce qu'elle porte sur la manière de procéder à des évaluations rapides, que nous avions aussi de nombreuses raisons de viser même avant la pandémie, et sur lesquelles il existe donc une expérience sur laquelle s'appuyer. Et, si notre collègue Jennifer a raison de souligner que l'évaluation ne se prête pas facilement à une réaction rapide, je pense qu'il existe des moyens d'accélérer les processus pour répondre au besoin de rapidité. Je peux partager les leçons suivantes concernant ce qui a fonctionné lorsque j'ai cherché à mener des évaluations rapidement. Toud d'abord, il faut se focaliser. Cela fait une différence lorsque le temps de quelqu'un est entièrement consacré à une tâche, tandis qu'une multitude de tâches vous prive de la précieuse concentration dont vous avez besoin pour arriver rapidement là où vous le souhaitez. Deuxièmement, il faut viser un plan « suffisamment bon ». Nous tournons souvent en rond pour préparer nos évaluations, et nous investissons beaucoup de temps dans des échanges de va-et-vient à ce sujet. Il peut être utile de commencer par un cadrage approximatif et de tester et affiner votre concentration et votre approche au fur et à mesure. Troisièmement, il faut compenser les éventuelles coupes sombres en faisant appel à quelques parties prenantes disposant de connaissances stratégiques pour servir de caisse de résonance en cours de route.

Bien sûr, la situation du COVID-19 complique ces règles empiriques, en particulier lorsque l'engagement doit être virtuel ; et mon dernier conseil est de se familiariser avec les technologies modernes pour se connecter par le biais des moyens virtuels. Comme vous le signalez, cela pourrait durer, et il pourrait donc valoir la peine d'investir dans ces nouvelles compétences.

Best, Aurelie

Chère Malika et communauté,

Vous avez proposé un sujet très intéressant avec le besoin urgent d'obtenir des informations régulières au fur et à mesure de l'évolution de la pandémie.

En ce qui concerne l'Organisation internationale pour les migrations des Nations Unies, nous avons élaboré et appliqué au Mexique, et dans certains pays d'Amérique centrale, une méthodologie basée sur des entretiens téléphoniques avec les principaux acteurs du domaine. Cette méthodologie est appelée "Displacement Tracking Matrix" (DTM) et est largement utilisée par l'OIM depuis 2004.

Nous avons constaté qu'en évaluant les représentants des communautés, les directeurs de centres d'hébergement et les acteurs des gouvernements locaux et des organisations sociales, nous pouvons obtenir des informations générales sur l'impact de COVID-19 sur la mobilité et les besoins de la population migrante installée aux frontières, ainsi que sur les déplacements à travers le pays.

J'ai notamment dirigé l'élaboration de ces études au Mexique. Jusqu'à présent, nous avons trois études, mais la dernière en anglais est disponible ici : https://dtm.iom.int/reports/mexico-emergency-tracking-southern-border-m...

Il existe des informations qui synthétisent l'approche méthodologique que vous pouvez consulter ici : https://displacement.iom.int/system/tdf/tools/Methodological%20Framewor.

Si vous avez d'autres commentaires ou questions, n'hésitez pas à me contacter.

Cordialement,

Nayeli Almanza, MSc

 

Chère communauté,

Merci à Malika pour avoir émergé cette problématique de l'évaluation rapide, qui montre encore une fois les difficultés que nous rencontrons souvent dans la mise en oeuvre pratique de certaines notions théoriques. 

Mon point de vue sur la question est celui d'un acteur institutionnel et non celui d'un consultant. Au Bénin nous avons démarré la conduite d'évaluations rapides, une notion nouvelle à laquelle nous avons été exposés en Afrique du Sud avec le Programme "Twende Mbele" (programme de coopération en évaluation que nous avons initié avec l'Afrique du Sud et l'Ouganda pour le renforcement de nos systèmes nationaux de suivi-évaluation à-travers le partage d'expérience et le développement d'outils collaboratifs). 

C'est dans le cadre de ce programme que nous avons développé un guide méthodologique spécifique sur ce type d'évaluation et avons entrepris simultanément 4 évaluations rapides dont 3 concernent des interventions publiques et la 4ème est relative aux effets du COVID-19 sur le secteur informel.

Il faut dire tout d'abord, que la différence majeure entre l'évaluation rapide et celle traditionnelle réside dans les contraintes de temps et de ressources limitées qui caractérisent l'évaluation rapide. Au Bénin par exemple, une évaluation normale (hormis les évaluations d'impact qui peuvent aller jusqu'à 5 ans) dure en moyenne 9 mois à 1an, voire plus, à cause de beaucoup de facteurs liés aux procédures (notamment l'administration, la passation de marché, la gestion institutionnelle surtout quand il y a beaucoup de parties prenantes), et parfois même à la phase de collecte et d'analyse des données qui se prolonge souvent. L'évaluation rapide appelle donc de mettre en place de nouveaux processus pour réduire le temps des phases avant et après la collecte des données. Avec l'adaptation que nous avons faite au Bénin, on a estimé à 12 semaines maximum le temps global d'une évaluation rapide. Cela implique une période de collecte de données d'un maximum de deux semaines à un mois, afin de laisser du temps pour les activités initiales, l'organisation de la collecte de données, l'analyse des résultats, la rédaction d'un projet de rapport, l'obtention d’observations et la finalisation du rapport. Toutefois, c'est à l'épreuve des faits que nous allons voir si cela est réaliste.

Pour ce qui est des outils, le déficit en termes de temps et de portée peut être comblé par l’utilisation de méthodes rapides : 

  • Collecte avec des groupes (plutôt que des individus), ateliers,
  • Utilisation de données de routine ou d’autres évaluations,
  • Travail en équipe pour mener différentes étapes de front (Collecte et traitement)

De plus, nous estimons, que pour effectivement gagner du temps, il est préférable que l'évaluation rapide se fasse par une équipe interne, parce que c'est la seule option qui ne nécessite pas une procédure de passation de marché. Mais cela nécessite que des mécanismes organisationnelles idoines soient mis en place, par exemple :

  • un organigramme de projet pour l'équipe, 
  • l'aménagement du temps de travail hebdomadaire à consacrer à la mission d'évaluation et des délais de livraison rigoureux,
  • des mesures d'accompagnement de l'équipe, etc.

Par ailleurs, l'équipe d'évaluation ne résidant pas dans les communautés, nous avons identifié des points focaux dans les milieux de collecte de données pour assurer la facilitation avec les membres des communautés afin de gagner du temps.

Au demeurant, Malika n'a pas été suffisamment précise pour nous permettre de proposer des approches de solution adaptées à son contexte. Mais du peu que j'ai retenu, voilà quelques idées que je partage pour le moment. Je pourrais apporter plus d'éléments factuels lorsque nous aurons tiré les leçons de l'expérience actuellement en cours au Bureau de l'Evaluation des Politiques Publiques du Bénin. 

Merci et bon courage à tous.

Elias SEGLA

Chère Malika et communauté,

Merci de nous faire part de vos difficultés à réaliser des évaluations rapides.

Je suis actuellement impliquée dans une évaluation en temps réel (ETR) menée par le Bureau de l'évaluation de la FAO. Bien que la méthodologie de cette ETR ait été conçue pour fournir un retour d'information en temps réel aux équipes de la FAO et aux organisations partenaires, elle prend en fait plus de temps qu'initialement prévu . Les raisons sont plus ou moins similaires à celles mentionnées par Jennifer, à savoir la lenteur des processus bureaucratiques, le recrutement de personnel national, les restrictions de voyage, entre autres.

Néanmoins, je pense que certains ajustements pourraient être apportés à la manière "régulière" de mener les évaluations, afin de rendre le processus plus agile. Cela pourrait éventuellement contribuer à fournir un retour d'information et des recommandations "en temps réel". Certaines idées pourraient être (entre autres) :

  • Augmenter le flux de communication avec les parties prenantes/communautés concernées afin de fournir des mises à jour régulières sur le processus d'évaluation. Chaque mise à jour devrait également inclure un bref aperçu des conclusions préliminaires qui ont émergé à ce stade particulier de l'évaluation.
  • Organiser des ateliers périodiques pour permettre des discussions sur les résultats et conclusions préliminaires avec un public plus large et de manière participative, et profiter de cette occasion pour tirer des idées de recommandations avec le public.
  • Créer de brefs produits de communication pour diffuser les résultats et les recommandations préliminaires tout au long du processus d'évaluation et pas seulement à la fin.

Bien que je sois pleinement consciente que certains des défis liés au temps et aux ressources impliqués dans les processus d'évaluation sont tout simplement difficiles à surmonter, créer un espace pour un retour d'information continu tout au long du processus d'évaluation, en utilisant différentes formes comme souligné ci-dessus, peut être un moyen de permettre aux communautés/parties prenantes de réagir de manière plus opportune.

J'espère que cela contribuera à la discussion.

Carolina

 

Chère Malika,

Merci de partager votre expérience. Notre initiative, telle que partagée sur cette plateforme [www.evalforward.org/comment/reply/node/118/field_comments_ref/19], implique un partenariat conjoint de la Société d'évaluation du Kenya (ESK) et du Département de suivi et d'évaluation (MED), financé par la Banque mondiale.

Notre contexte est donc différent du vôtre, car il implique une coordination entre le gouvernement national et les gouvernements des comtés (ce qui rend les choses plus complexes). Néanmoins, comme vous, nous avons constaté que les évaluations rapides n'ont pas été aussi rapides que prévu initialement (et comme le terme semblait l'indiquer). Des ressources beaucoup plus importantes que prévu initialement ont également été dépensées. Certains facteurs contributifs étaient :

  • Un démarrage lent en raison des protocoles/bureaucraties de communication entre les gouvernements nationaux et de comté 
  • Réponses parfois tardives au niveau technique (surtout lorsque le personnel est peu nombreux sur le terrain)
  • Une documentation limitée sur des données de surveillance bien analysées et archivées
  • En général, les systèmes de S&E sont faibles. Cela limite la possibilité de faire des études rapides. Il a fallu recourir à d'autres moyens, impliquant un champ d'application plus large et des fonds supplémentaires, pour combler les lacunes des données

Compte tenu de tout cela et selon le contexte, je pense qu'il est important de prendre en compte ces limitations, y compris les dépassements budgétaires potentiels lors des étapes de planification de l'évaluation.

Bien à vous,

Jennifer