RE: Reporting and supporting evaluation use and influence | Eval Forward

Chers tous,

Les connaissances, expériences et réflexions partagées sur ce sujet sont très pertinentes et utiles. Merci pour vos contributions ! Voici quelques-uns des éléments que j'ai retenus jusqu'à présent. D'autres contributions/réflexions sont les bienvenues. N'oubliez pas non plus de répondre à l'enquête ici (en anglais).

Un rapport d'évaluation concis

Rédiger trop de pages, c'est-à-dire un rapport d'évaluation volumineux, risque d'ennuyer le lecteur/utilisateur, qui lirait des choses qu'il connaît déjà ou qui chercherait à aller droit au but. Très peu de personnes, y compris les utilisateurs de l'évaluation, prendraient le temps de lire d'énormes rapports d'évaluation. En fait, même les évaluateurs sont moins susceptibles de lire (une fois finalisé) un rapport qu'ils ont produit ! Voici quelques-unes des recommandations : 
- Faire une page exécutive de moins de 4 pages (écriture recto-verso), soulignant les résultats et la conclusion et les recommandations basées sur les résultats.
- Faire un résumé de moins de 10 pages, avec plus de tableaux, de diagrammes et de conclusions sous forme de puces.
- Le rapport complet doit faire 50 pages.
- Mettre en évidence les changements (ou l'absence de changements) et souligner les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. 

Au-delà du rapport d'évaluation : utilisation de supports visuels

Tant que les évaluations ne seront pas principalement perçues comme des exigences et des rapports bureaucratiques, nous passerons à côté de possibilités fantastiques pour mieux apprendre. Il est regrettable que nous supposions que la seule "rédaction de rapports" soit la meilleure façon de saisir et de transmettre des preuves et des idées. Communiquer les résultats d'une évaluation de manière concise, compréhensible et significative est un défi. Nous avons besoin d'une pensée à la fois littérale et visuelle pour utiliser l'évaluation en résumant les résultats d'une manière plus visuelle grâce à l'utilisation de graphiques, de dessins et de multimédia. Par exemple, le PAM des Nations unies dans la région Asie-Pacifique associe l'évaluation à la facilitation visuelle grâce à une méthodologie appelée EvaluVision. Il est utile d'impliquer des personnes qui peuvent avoir de fantastiques capacités d'apprentissage, d'analyse et de communication, mais qui ne sont pas nécessairement des rédacteurs de rapports.
Cependant, le défi est que les visuels sont souvent perçus comme "agréables" et "cool". Tout le monde les aime et les trouve utiles, mais il faut quand même élaborer un rapport normal, car c'est ce que veulent les commissaires d'évaluation, y compris les bailleurs de fonds. 

Un changement de paradigme dans la formulation des recommandations

Il y a souvent des écarts entre les résultats, les conclusions et les recommandations dans le rapport d'évaluation, ce qui peut nuire à la qualité et à l'utilisation des évaluations. Traditionnellement, les évaluateurs procèdent à la formulation de recommandations à partir des conclusions, mais le fait de permettre à l'équipe de mise en œuvre du projet de faire appel à un responsable politique pour rédiger conjointement des recommandations exploitables peut contribuer à améliorer l'utilisation de l'évaluation. Le rôle de l'évaluateur est de s'assurer que toutes les conclusions ou résultats importants sont traduits en recommandations exploitables en aidant l'équipe de mise en œuvre du projet et le décideur politique à rester aussi proches que possible des preuves et des idées de l'évaluation. Cela peut se faire en posant des questions qui permettent d'aboutir à des recommandations exploitables et en veillant au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. L'objectif est que les utilisateurs de l'évaluation s'approprient les recommandations tandis que l'équipe d'évaluation s'approprie les résultats empiriques. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs. L'analyse des parties prenantes est donc essentielle pour comprendre l'intérêt, l'influence et la catégorie des parties prenantes afin de mieux les aider à utiliser les évaluations.

Leçons tirées de la pratique des audits : Le feedback/réponse de la direction peut-il être utile ?

Doit-on attendre un retour d'information de la part des utilisateurs de l'évaluation ? Généralement, les projets de rapports d'évaluation sont partagés avec les responsables de la mise en œuvre pour examen et approbation. Dans le domaine de l'audit, le retour d'information est obligatoire dans un court laps de temps, de la part du client qui doit répondre aux observations de l'auditeur, tant positivement que négativement. Peut-être, comme mentionné ailleurs, le fait de travailler avec les utilisateurs des preuves générées par une évaluation sous la forme de résultats et de conclusions afin de formuler des recommandations exploitables peut servir de retour d'information/réponse de la direction. Cependant, la communication et la relation doivent être gérées avec soin afin que l'évaluation ne soit pas perçue comme un travail d'audit tout comme, dans certains cas, elle est perçue comme du "maintien de l'ordre".

Le suivi des actions

Un suivi d'action (en MS Excel ou tout autre format) peut être utilisé pour suivre dans le temps la mise en œuvre des recommandations. Simplifier le rapport d'évaluation dans un langage et un format adaptés au public, tels qu'une note de politique générale de deux pages, une note d'évaluation et une brochure d'évaluation, en fonction des thèmes spécifiques qui ont émergé de l'évaluation, est une pratique relativement utile pour deux raisons :
- Les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques.
- L'équipe de mise en œuvre dispose d'un espace pour aligner ses voix et ses connaissances sur les résultats de l'évaluation.
- La fin d'une évaluation n'est pas, et ne devrait pas être, la fin de l'évaluation, d'où la nécessité pour les institutions de suivre la façon dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, la prise de décision ou de politique, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

Création d'alliances et de relations pour l'utilisation des preuves

Généralement, il existe des sous-groupes ou des équipes techniques et politiques. Dans certaines situations, les équipes techniques relèvent d'une équipe administrative qui assure l'interface avec la politique. Les évaluateurs travaillent souvent avec l'équipe technique et n'ont pas forcément accès aux autres équipes. Les parties rapport et recommandation sont banales, quel que soit le processus dans lequel elles sont faites. La question préoccupante est le délai entre la soumission du rapport et les actions politiques dans les pays en développement. L'institutionnalisation de l'utilisation des données probantes est essentielle pour renforcer l'utilisation et l'influence des évaluations, mais elle peut prendre du temps, en particulier les changements structurels (approche descendante). Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Cependant, il est également très utile de prendre des mesures modestes mais sûres pour initier des changements à partir de la base, comme la création de petites alliances et de relations pour l'utilisation des données probantes, l'intégration progressive de parties prenantes plus "influentes" et la mise en évidence des avantages des données probantes et de leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

Évaluations en temps réel

L'évaluation doit être rapide et opportune à l'ère des pandémies et des situations de crise. Nous devons "communiquer tout le temps". L'actualité est l'une des dimensions de la qualité des données. L'actualité reflète le temps qui s'écoule entre la disponibilité des données et les événements ou phénomènes qu'elles décrivent. La notion d'actualité est évaluée sur la période de temps qui permet à l'information d'avoir de la valeur et d'être encore exploitée. Les évaluations doivent être opportunes pour qu'elles aient de la valeur et qu'on y donne suite.

Au-delà de l'utilisation des preuves

La raison ultime de l'évaluation est de contribuer à l'amélioration ou à l'impact social. Cela inclut, mais en même temps va au-delà de la simple utilisation des résultats de l'évaluation pour changer les politiques ou les programmes. De cette façon, l'utilisation de l'évaluation en soi cesse d'être l'objectif final des évaluations, puisqu'elle vise des changements qui favorisent l'amélioration de la vie des gens. Démontrer comment une évaluation contribue à l'amélioration ou à l'impact socio-économique peut renforcer la valeur, l'influence et l'utilisation des évaluations.
 

Gordon Wanzare