L'utilisation de l'évaluation est une question essentielle pour la communauté de l'évaluation. L'objectif de l'évaluation est d'exercer une influence de manière à être utile aux décideurs politiques, concepteurs de programmes, planificateurs et gestionnaires de projets.
J'ai récemment mené une enquête auprès des évaluateurs pour examiner le concept de l'utilisation de l'évaluation, la manière dont les praticiens de l'évaluation la conçoivent et comment cela se reflète dans leur travail – en d'autres mots, la manière dont les évaluateurs rendent compte et soutiennent l'utilisation et l'influence de l'évaluation.
Aperçu de l'utilisation et de l'exploitation de l'évaluation
L'approche de l'évaluation axée sur l'utilisation développée par Michael Quinn Patton (utilization-focused evaluation ou UFE) se fonde sur le principe que l'évaluation doit être jugée à l'aune de son utilité pour les utilisateurs visés. Ainsi, les évaluations doivent être programmées et mises en œuvre de manière à augmenter l'utilisation de leurs résultats et du processus lui-même afin d'éclairer et influencer les décisions.
Le Réseau "Africa Evidence Network" a longtemps promu la prise de décision basée sur des preuves ("evidence-informed decision-making" ou EIDM), selon laquelle les personnes qui doivent effectuer des choix utilisent les meilleures preuves disponibles pour motiver leurs décisions. Dans ce contexte, la preuve peut provenir de la recherche scientifique, mais aussi d'autres formes de preuves permettant d'éclairer les décisions telles que les voix des citoyens, les données du recensement ou l'avis d'experts par exemple. En substance, l'EIDM vise à utiliser les meilleures preuves disponibles pour la décision à l'étude – preuves qui sont parfaitement adaptées à l'objectif, au contexte et susceptibles d’être élargies à l'échelle de la décision à prendre.
Dans le document "Maximizing the Use of Evaluation Findings[1]", la Banque asiatique de développement a identifié quatre types d'utilisation de l'évaluation: instrumentale, conceptuelle, politique ou symbolique, du processus. L'utilisation instrumentale se réfère à l'impact d'une évaluation basée sur des effets directement observables, comme un changement de politique ou l'introduction d'une initiative d'un nouveau programme. L'utilisation conceptuelle est plus indirecte et se réfère à l'utilisation des évaluations pour influencer la réflexion sur les problèmes de manière plus générale. L'utilisation politique ou symbolique est plus rétrospective, dans la mesure où l'évaluation est utilisée pour justifier des décisions qui ont déjà été prises sur une politique ou un programme. L'utilisation du processus se réfère à la manière dont les parties prenantes sont affectées par leur participation à une évaluation, comme par exemple les changements dans leurs perceptions, valeurs, idées ou comportements qui pourraient influencer davantage leurs décisions.
Que font les évaluateurs? Conseils tirés de l'enquête
Pour comprendre les méthodes, les approches, les instruments et les techniques que les évaluateurs utilisent pour élaborer et présenter leurs conclusions de manière à les rendre utiles pour les destinataires prévus et à encourager ces derniers à les utiliser, j'ai préparé une enquête basée sur le Cadre Arc-en-ciel de Better Evaluation[2] portant sur le compte rendu et le soutien de l'utilisation des résultats. Better Evaluation recommande que les résultats de l'évaluation soient élaborés et présentés de manière à être utiles pour les utilisateurs visés et à les aider à les utiliser, notamment à travers: l'identification des besoins en matière de rapports; le développement des supports de compte-rendu; la garantie de l'accessibilité des informations; l'élaboration des recommandations et le soutien à leur utilisation.
L'enquête a reçu les réponses de 70 évaluateurs dont voici quelques résultats.
Pour communiquer les résultats de l'évaluation, la plupart des évaluateurs continuent à utiliser des rapports écrits, principalement des rapports finaux (23,6 pour cent) et des résumés exécutifs (20,1 pour cent). Les cartes postales (0,9 pour cent) et la communication à travers des médias d'informations (3,5 pour cent) sont les moins utilisées.
Pour présenter les résultats de l'évaluation, les fichiers PowerPoint et les tableaux de conférence sont les formats les plus communément utilisés (42,6 pour cent et 22 pour cent respectivement). Les vidéos, les affiches et les posters (9,2 pour cent, 12,1 pour cent et 14, 2 pourcent respectivement) sont beaucoup moins utilisés, bien qu'ils soient assez convaincants pour communiquer les résultats de l'évaluation. Pour ce qui est des évènements de présentation, les conférences en présence ou virtuelles ainsi que les présentations verbales sont également utilisées pour communiquer ces résultats.
Les reportages photographiques (50 pour cent) font partie des moyens les plus créatifs de communiquer les résultats de l'évaluation. D'autres alternatives créatives, comme le recours au théâtre (3,0 pour cent), à la poésie (4,5 pour cent) ou aux dessins animés (6,1 pour cent), sont moins utilisées mais peuvent être attrayantes pour communiquer ces résultats.
En ce qui concerne, l'utilisation d'éléments graphiques ou de design, la mise en forme Word (29,6 pour cent), la mise en page du rapport (27,2 pour cent) et les images (23,5) sont les approches généralement utilisées pour communiquer les résultats de l'évaluation. Le recours à la couleur (19,1 pour cent) est l'approche de conception graphique la moins utilisée. Les titres descriptifs des graphiques, les énoncés synthétiques choisis pour les titres, le langage clair et l'application des principes de conception graphique sont largement utilisés par les évaluateurs pour rendre les résultats de l'évaluation faciles d'accès et utilisables. D'autres approches, telles que les techniques d'accentuation, la suppression de l'accumulation de graphiques, les principes 1:3:25 et des considérations en matière d'accessibilité pour les publics daltoniens et les publics malvoyants et aveugles sont rarement utilisées.
En ce qui concerne l'élaboration des recommandations à partir des résultats de l'évaluation, les méthodes communément utilisées sont la réflexion critique en groupes (20,7 pour cent), la réflexion critique individuelle (19,0 pour cent), l'échange avec les bénéficiaires (16,7 pour cent), l'examen externe (15,5 pour cent) et l'examen participatif des recommandations (13,2%) alors que les salons de discussion (5,7 pour cent), les World Café (5,2 pour cent) et la démocratie électronique (2,3 pour cent) sont bien moins utilisés.
Pour soutenir l'utilisation des résultats de l'évaluation, les répondants ont cité les examens annuels (23,8 pour cent), le suivi des recommandations (21,8 pour cent), les exposés sur les politiques (17 pour cent), la présentation en conférence (15,6 pour cent) et l'apprentissage social (12,2 pour cent) comme approches les plus fréquentes. L'approche la moins commune a été celle du calendrier d'utilisation des données (5,4 pour cent).
La discussion EvalForward
Parallèlement, la discussion Evalforward a attiré plus de 30 contributions apportant des idées riches et variées dont voici une vue d'ensemble.
Rapport d'évaluation concis
Les rapports d'évaluation volumineux risquent d'ennuyer le lecteur/utilisateur visé.
Les recommandations partagées au cours de la discussion concernaient entre autres:
- un résumé exécutif de moins de quatre pages, mettant en évidence les résultats, les conclusions et les recommandations;
- un résumé de moins de dix pages, avec plus de tableaux, diagrammes et résultats sous forme de listes à puces;
- un rapport complet n'excédant pas 50 pages;
- la mise en évidence des changements (ou leur absence), des résultats contre-intuitifs et des aperçus des indicateurs ou variables intéressants.
Au-delà du rapport d'évaluation; l'usage d'éléments visuels
Les autres participants ont observé que tant que les évaluations ne seront pas perçues autrement que comme des rapports qui répondent à des exigences bureaucratiques, nous passerons à côté d'incroyables occasions d'apprendre. Rendre compte des résultats de l'évaluation peut être fait de manière plus captivante, en pensant visuellement et en réfléchissant à des manières de résumer et synthétiser les résultats à travers des graphiques, des dessins et des supports multimédia.
Un changement de paradigme dans l'élaboration des recommandations
Traditionnellement, les évaluateurs élaborent les recommandations à partir des conclusions. Toutefois, il a été suggéré que faire appel à un décideur politique pour élaborer conjointement des recommandations exploitables et des exposés politiques pourrait contribuer à améliorer l'utilisation de l'évaluation.
Les leçons tirées de la pratique de l'audit: la réponse/les retours de la direction peuvent-ils être utiles?
D'autres options permettant de faciliter l'utilisation de l'évaluation est de demander à la direction une réponse à l'évaluation et de recourir à un instrument de suivi des mesures prises (sous la forme d'un fichier Microsoft Excel ou autre) qui peut être utilisé pour surveiller la manière dont les recommandations sont mises en œuvre dans te temps. Cependant, les réponses à l'enquête ont aussi relevé que ces méthodes et instruments ne sont pas toujours suffisants en soi, car les décisions sont souvent prises au niveau politique plutôt qu'à partir des preuves issues de l'évaluation.
La mise en place d'alliance et de relations pour l'utilisation des preuves.
Bénéficier du soutien des cadres supérieurs pour l'utilisation des preuves est une occasion importante à ne pas manquer. Toutefois, de petits progrès réguliers permettant d'initier les changements à partir de la base, tels que la mise en place d'alliances et de relations pour l'utilisation des preuves, permettront d'impliquer progressivement des parties prenantes "influentes", mettant en exergue les bénéfices et l'impact des preuves pour l'organisation chargée de la mise en œuvre, les décideurs et les communautés, ce qui est aussi très utile.
Des évaluations respectant les délais opportuns
La notion de respect des délais opportuns est évaluée à l'aune de la durée durant laquelle les informations peuvent être utiles et exploitables. Les évaluations devraient respecter ces délais pour assurer leur utilité et leur valeur. Les évaluations en temps réel ou rapides peuvent être une approche utile.
Au-delà de l'utilisation des preuves
La dernière raison de mise en œuvre d'une évaluation est probablement de contribuer à l'amélioration sociale et d'obtenir un impact positif sur les populations ou la planète. Cela comprend, mais dépasse aussi, la simple utilisation des résultats de l'évaluation pour changer les politiques ou les programmes. Montrer comment une évaluation contribue à l'amélioration socio-économique ou obtient d'autres impacts positifs peut augmenter la valeur, l'influence et l'utilisation des évaluations.
En conclusion
Le compte rendu et le soutien de l'utilisation et de l'influence de l'évaluation est d'une importance cruciale pour assurer l'influence des évaluations. Il existe des approches, méthodes, instruments et techniques traditionnels utilisés par les évaluateurs pour rendre compte et soutenir l'utilisation des résultats de l'évaluation. Toutefois, des approches innovantes et créatives qui apparaissent très efficaces voient le jour bien qu'elles ne soient pas encore pleinement examinées par les évaluateurs. Il serait temps que les évaluateurs commencent à penser au-delà des rapports et adoptent pleinement ces approches, y compris en collaboration avec des experts dans ces domaines, car cela permettrait d'accroître l'influence des évaluations.