Lors de notre dernière session des Discussions d'Evalforward du 30 avril, j'ai partagé mon expérience sur la manière de mener l'examen d'un projet de renforcement des capacités du point de vue du suivi et de l'évaluation (S&E) et souhaiterais remercier tous les participants pour leurs commentaires et leurs points de vue. Voici un bref aperçu des principales idées qui sont apparues quant à la manière de saisir les effets du renforcement des capacités (formations, ateliers et activités de mentorat) de manière significative.
Les chemins tortueux du renforcement des capacités
Comme vous le savez, une approche globale est nécessaire lorsqu'il est question d'évaluer les projets de plaidoyer et de renforcement des capacités – ce qui ne correspond pas vraiment aux processus linéaires des cadres logiques des projets et à leurs indicateurs associés. Si les produits, résultats et impacts prévus restent des repères importants pour la mise en œuvre du projet, les équipes de projet et les évaluateurs devraient être capables de regarder au-delà des indicateurs et des cibles lorsqu'ils évaluent l'efficacité du projet. Nous sommes peut-être capables de programmer et prévoir certains éléments de la mise en œuvre et leurs effets lors de phase de la proposition de projet, mais quelle est la probabilité que les exercices de sensibilisation, les activités de plaidoyer et les sessions de formation et de mentorat atteignent précisément et uniquement les cibles que nous visions? Les connaissances et les compétences acquises durant ces projets sont conservées et mises à profit sur une période plus longue de la part d'un grand nombre de personnes dans des environnements très différents. Ainsi, si nous pouvons programmer les choses de manière linéaire, la réalité peut prendre, elle, de nombreux chemins tortueux inattendus.
Mon expérience du suivi et de l'évaluation du renforcement des capacités
À titre d'exemple, prenez notre projet de renforcement des capacités "Strengthening Local Advocacy Leadership in East Africa", grâce auquel 12 organisations conduites par des jeunes ont promu les droits en matière de planification familiale et de santé reproductive au Kenya et en Tanzanie. Elles ont reçu une année de formation de base et ont ensuite eu l'opportunité de postuler à une phase de financement en cascade de deux ans.
Tout d'abord ‒ et tout à fait dans l'esprit de la session des Discussions d'Evalforward de Silva Ferretti "Comprendre d'abord" (26 mars 2021) - l'équipe de projet, les bénéficiaires et les évaluateurs externes ont tous dû comprendre et partager de manière claire le concept du projet, la théorie du changement et les raisons qui justifiaient les activités de renforcement des capacités. Sans cette compréhension commune, les attentes peuvent suivre différentes directions et l'efficacité du projet peut en souffrir. À cette fin, la programmation du projet a prévu une équipe de projet centrale, comprenant les principaux détenteurs de la connaissance auprès des bureaux pays de mise en œuvre, afin de garantir à chaque membre de l'équipe une vue d'ensemble et une compréhension claires des objectifs du projet. Un cadre de S&E a été élaboré en début de projet, comprenant un glossaire des termes essentiels et une feuille de référence pour les indicateurs, devenant un document vivant, clarifiant certains doutes qui sont apparus dans le document central.
En second lieu, un donateur et une conception de projet flexibles ont été essentiels pour encourager l'ouverture et les opportunités permettant d'explorer de nouvelles manières de mesurer les effets du plaidoyer et du renforcement des capacités et de faciliter l'adaptation aux chemins tortueux de la mise en œuvre du projet.
Voici certains instruments et méthodes utilisés dans le S&E de projet:
- L'Approche de l'examen des capacités de plaidoyer (Advocacy Capacity Review, ACR), conçue par des experts de l'Aspen Institute. C'est un processus facilité de 2-4 heures qui permet d'évaluer la capacité organisationnelle de promotion du planning familial et de la santé reproductive. L'ACR a été conçu pour permettre aux organisations de réfléchir sur leurs propres compétences et priorités en matière d'apprentissage, plutôt que d'adhérer à l'une des normes préétablies de l'évaluation traditionnelle des capacités organisationnelles. Il a eu pour objectif d'évaluer la capacité organisationnelle et de plaidoyer des 12 groupes conduits par des jeunes et leurs principales priorités en matière de renforcement des capacités. Les résultats ont servi de référence et ont directement contribué au développement et à la conception du Guide des facilitateurs du renforcement des capacités du projet pour la formation de base de 12 mois. D'autres évaluations intermédiaires ont rendu compte des progrès et abouti à des plans de renforcement des capacités personnalisés.
- Les traditionnels pré-tests et post-tests, ainsi que les questionnaires et les enquêtes, ont été utilisés pour collecter les commentaires initiaux sur la qualité des mesures du renforcement des capacités et tout besoin d'amélioration. Si de tels travaux sont précieux pour réfléchir à la manière d'améliorer les matériels et les approches de développement des capacités, ils offrent toutefois peu d'informations sur les effets de long terme des interventions de renforcement des capacités. En effet, comme l'a noté un des participants de la session:
“Apprendre et vérifier à travers les post-tests si et dans quelle mesure les apprenants ont appris ce qui a été enseigné est une chose. Mettre en pratique et appliquer les connaissances en est une autre et vous pouvez le mesurer seulement lorsque vous savez quel était le problème ou le manque de connaissances initial et si le problème a été résolu grâce aux nouvelles connaissances. C'est à ce moment-là seulement que vous verrez les changements. Vous les verrez sur la longue durée. La réussite du renforcement de capacités peut être mesurée seulement de manière indirecte à travers la résolution des problèmes causés précédemment par un manque de connaissances."
L'approche ACR mentionnée précédemment est un outil précieux pour l'analyse des changements de long terme apportés par les interventions de renforcement des capacités.
- Toutes les sessions de formation de mise à niveau et les réunions en réseau de stratégie de plaidoyer réalisées ont donné lieu à des échanges de connaissances et de compétences entre pairs dans le cadre d'une communauté de pratique afin de saisir les gains en termes de compétences et de démontrer la valeur de l'apprentissage et de la mise en réseau avec les pairs.
- Les instruments de suivi continus, tels que le suivi de l'adoption du message de plaidoyer et les outils de suivi des communications et de l'implication dans les politiques, contribuent à identifier et examiner l'intégration des messages de plaidoyer dans les programmes politiques locaux, les améliorations de la visibilité locale et l'interaction dans les forums politiques et les réseaux de plaidoyer.
- Les rapports et les outils de suivi du mentorat permettent de garder la trace de l'implication et des progrès du mentorat pour déterminer l'évolution des besoins, mais servent également à intensifier la confiance mutuelle, l'apprentissage et le soutien.
- Les visites de suivi sont utilisées pour maintenir des relations étroites, examiner la mise en œuvre de part et d'autre, alors que des discussions sont organisées pour soutenir la redevabilité mutuelle.
- Lors de notre année finale mettant l'accent sur l'examen, l'apprentissage et la programmation du projet de suivi, nous avons introduit comme innovation en cette période de COVID-19, des sessions de réflexion mensuelles d'une heure avec toutes les parties prenantes pour permettre des échanges confiants et ouverts dans des domaines de la réussite de projet et, encore plus important, dans les domaines à améliorer. Bien que nous ne soyons pas parvenus à rassembler des commentaires significatifs à travers les questionnaires en ligne, ces sessions ont été très utiles en termes d'apprentissage et d'idées d'amélioration.
- L'utilisation d'un outil de suivi des leçons apprises nous a aidés à saisir de manière continue les leçons apprises et les voies potentielles d'adaptation.
- Au cours des deux dernières années, nous avons fourni des instruments pour saisir les récits de changement et tenu une série de sessions de formation au récit, de sorte que les membres de notre "famille de projet" puissent devenir des conteurs et présenter leurs apprentissages les plus stimulants, en précisant comment ces derniers ont affecté leur vie et leur travail de plaidoyer. Leurs récits seront exposés et partagés lors d'une conférence d'"histoires de changement". Leurs récits nous aident à identifier les effets du renforcement des capacités au-delà de notre monde caractérisé par son cadre logique linéaire, alors que la conférence vise à encourager l'échange de connaissances, la mise en réseau et le développement d'alliances.
Nous prévoyons de réaliser une courte séquence finale d'ACR puis de mettre l'accent principalement sur des approches nouvelles (pour nous), comme la récolte des résultats, afin d'apprendre davantage sur les effets inattendus de notre intervention de projet. Comme un autre participant l'a noté lors de la session:
"La récolte des résultats pourrait contribuer à regrouper les informations obtenues par catégories à partir, par exemple, de récits, d'enquêtes et d'entretiens, afin d'établir des modèles dans les types de changements [expérimentés par] ceux qui ont bénéficié d'une intervention de renforcement des capacités et également de comprendre comment ils ont fait les choses différemment et, à leur tour, influencé les autres pour faire les choses différemment."
Apprentissages
En résumé, voici mes principaux apprentissages sur l'évaluation du renforcement des capacités:
- Il est essentiel d'investir beaucoup de temps et d'avoir la volonté d'apprendre et de s'adapter.
- Le renforcement des capacités ne peut pas être un exercice ponctuel; il nécessite une conception attentive et éprouvée (une évaluation des besoins et une approche très participative), afin d'intégrer des cycles réguliers et inclusifs d'examen et d'adaptation et de développer un environnement de confiance, d'apprentissage et de partage exempt de hiérarchies et fondé sur une redevabilité mutuelle claire.
- Cela permet l'appropriation et mène à un processus enrichissant, transformateur et durable.
Quelles sont vos expériences, leçons apprises et bonnes pratiques en matière de suivi et évaluation de projets centrés sur le plaidoyer et le renforcement des capacités? Nous aimerions former une communauté de pratique avisée sur ce thème! N'hésitez pas à nous contacter, à travers cette page ou en me contactant directement à l'adresse cornelia.rietdorf@dsw.org.