Les outils visuels peuvent-ils aider les évaluateurs à mieux communiquer et mobiliser?

Bonjour Harriet,

Je voulais juste vous féliciter - vous avez de très bons exemples. La vidéo sur la crise du criquet, en particulier, est un excellent produit.

Meilleurs vœux, Pamela

Merci encore pour toutes vos contributions inspirantes et stimulantes.

Je me rends compte que je n'ai encore rien dit sur la manière dont nous utilisons les outils visuels au Bureau de l'évaluation de la FAO (OED), où je travaille actuellement.

Notre mission à l'OED (visualisée ci-dessous) est de permettre des décisions bien informées. L'une des façons dont nous essayons d'atteindre cet objectif (un pilier du modèle de stratégie ci-dessous...) est de créer des produits de communication accessibles et utiles à nos principaux utilisateurs d'évaluation.

Pour ce faire, l'équipe de l'OED chargée de gestion des connaissances et de la communication rencontre les équipes d'évaluation afin d'identifier les principaux utilisateurs de l'évaluation et d'examiner quels enseignements de l'évaluation leur seront utiles. Sur la base de cette discussion, nous travaillons ensemble pour développer des produits de communication afin de partager des messages pertinents avec différents publics. Nous utilisons des outils visuels pour rendre ces messages plus accessibles à ceux qui n'ont pas le temps ou l'envie de lire un rapport d'évaluation complet, ou qui ne s'intéressent qu'à un aspect particulier des résultats.

Le bureau a un contrat avec un praticien visuel (moi !) pour créer des produits visuels au fur et à mesure de nos besoins. Cet accord permanent nous permet de répondre rapidement aux opportunités, de développer des visuels de manière itérative et d'affiner et de mettre à jour nos produits en fonction des besoins.

Les produits que nous avons testés jusqu'à présent sont les suivants :

Animations et vidéos de tableaux blancs :

courtes...

https://www.youtube.com/shorts/O33rOoVylSk 

et plus longues..…

https://www.youtube.com/watch?v=8S3BeOtpn9k&t=245s 

Infographies : celle-ci présente une étude de cas tirée de l'évaluation de l'ODD 14.

Aperçus visuels des rapports d'évaluation

https://www.fao.org/evaluation/list/country-programme-evaluation-of-fao-in-jordan/en 

Icônes : celle-ci représente l'un des "quatre meilleurs" de la FAO, à savoir une meilleure production.

et des dessins animés

Cette bande dessinée a été utilisée lors d'un séminaire en ligne sur notre approche de la réalisation des objectifs de développement durable.

Pour l'avenir (et inspirée par les idées issues de cette discussion), j'aimerais voir notre équipe mettre en place des boucles de retour d'information pour contrôler et améliorer l'efficacité des différents produits et canaux que nous utilisons.  J'espère que nous serons également en mesure d'intégrer des outils visuels plus profondément dans le travail de l'OED : non seulement pour communiquer les résultats, mais aussi pour s'engager avec les parties prenantes tout au long du processus d'évaluation, et pour soutenir les autres piliers de notre stratégie de certaines des manières décrites dans ce groupe de discussion. 

À suivre donc !  Un résumé de notre discussion et un blog seront bientôt disponibles sur le site web d'Evalforward. Je me réjouis de continuer à partager des idées avec vous tous au cours des prochains mois.

Harriet

Bonjour à tous,

J'apprécie vraiment cette discussion très active. Il semble que nous réalisions qu'il existe de nombreux aspects de la visualisation en termes d'outils, de public et d'objectifs, et ce n'est que le début du début du début.

Par coïncidence, j'ai reçu ce matin un avis annonçant le lancement d'une formation en ligne spécialisée dans la visualisation et l'évaluation des données.
https://lovingvisuals.com/. 

La personne à l'origine de cette formation est quelqu'un en qui je peux avoir confiance en matière d'évaluation et de visualisation. Cela pourrait être un bon moyen pour tous ceux qui souhaitent utiliser davantage la visualisation dans les rapports d'évaluation et autres.
Merci beaucoup,
Keisuke

Keisuke Taketani 
Graphic Facilitation and Design
www.keisuketaketani.com

Observations très utiles, Silva. Vous avez raison de dire que les éléments visuels sont généralement de jolis ajouts ou des réflexions après coup. Il est grand temps de nous former et de créer un vivier d'experts et de praticiens capables de communiquer dans d'autres langues et sur d'autres supports.

Cordialement

Aparajita

--

Dr. Aparajita Suman

Advisor- Knowledge Management 

Coalition for Disaster Resilient Infrastructure

Bonjour Chers tous!

J'ai suivi avec beaucoup d'intérêts ces échanges sur l'utilisation des outils visuels pour améliorer la communication. Ceci est bien évident comme nous avions souvent l'habitude d'introduire des images et des dessins  dans nos présentations et aussi utilisons  ces outils dans le cadre d'élaboration des cartes sociales avec les communautés  pour véhiculer au mieux nos messages. Cependant je voudrais aussi remarquer qu'il serait également difficile  de partager les résultats d'une évaluation exclusivement avec des outils visuels comme nous faisons souvent face à des environnements multicuturels, multiethniques et multilinguistiques. 

Merci Harriet de partager tous ces outils. Ils sont vraiment utiles !

Cependant... un avertissement amical.
L'utilisation de visuels n'est pas qu'une question d'outils. Les visuels sont une attitude ; ce sont des langages avec des règles et des défis.
Tout comme le fait d'avoir accès à "Word" (et à d'autres traitements de texte) ne garantit pas que vous puissiez écrire efficacement, l'utilisation d'outils visuels ne garantit pas une bonne communication visuelle.

Malheureusement, dans notre monde, les visuels ne sont qu'un ajout. 
L'écriture est l'option par défaut ; ensuite, nous pouvons ajouter un joli visuel.
Et dans de nombreux cas, ces visuels sont mauvais, voire nuisibles.

Je me souviens avoir fait remarquer à certains collègues que leurs visuels posaient des problèmes et qu'ils pouvaient être mal interprétés.
Ils se sont limités à hausser les épaules, ne voyant pas le problème. 
"Ce n'est qu'un graphique ; pourquoi vous préoccuper autant de détails insignifiants ?".
Ces collègues s'inquiéteraient d'une virgule erronée dans leur texte, 
Pourtant, ils partageaient des visuels contredisant leurs messages sans s'en soucier, sans même en voir l'intérêt. 

Alors... essayez de vous familiariser avec les visuels.
Mais prenez le temps d'apprendre la langue, demandez un retour d'information et faites preuve d'humilité. 
Nous avons besoin de plus de langages - au-delà du seul langage écrit - dans le domaine de l'évaluation.
Mais il y a un cercle vicieux : parce qu'aujourd'hui l'écrit prédomine, les experts et les praticiens sont principalement des "écrivains et des lecteurs" et risquent de résister à d'autres languaes. 
Les images sont jolies, mais ce qui compte, c'est le rapport écrit. Ce sont donc principalement les personnes qui écrivent qui seront recrutées. 
Il s'agit d'un problème majeur, qui bloque l'appropriation par des personnes ayant des préférences différentes en matière de communication et conduisant à un partage inefficace de messages qui seraient mieux partagés visuellement, théâtralement, ou dans d'autres formes. 

Et si vous pensez que "c'est bien, mais si ce n'est pas écrit avec des mots, ce n'est pas fiable, crédible, acceptable...",  vous faites partie du problème :-) 

Alors... inspirez-vous des excellents outils et ressources partagés par Harried (merci !),
et explorez les supports visuels. Mais n'oubliez pas qu'il ne s'agit pas d'un ajout.
Il s'agit d'un langage nécessaire à maîtriser, mais difficile à utiliser correctement ! :-)

Chère Harriet,

Quelle belle discussion, et tellement de réflexions intéressantes ! J'apprécie le point de vue de Kombate sur la capacité des outils visuels à accroître l'impact. Venant du monde des médias, je suis d'accord pour dire que l'utilisation d'outils visuels au cours du processus d'évaluation permet de raconter une histoire plus convaincante une fois l'évaluation terminée (et publiée) - ou pendant qu'elle est en cours. 

En ce qui concerne l'apprentissage, le Bureau d'évaluation du PAM a mené une enquête auprès des parties prenantes de l'évaluation sur les produits de communication et l'utilisation des preuves. Quelques conclusions ci-dessous :

- Sur la question de savoir comment les éléments probants peuvent être mieux canalisés, rassemblés et présentés pour être utiles - 31% des participants ont indiqué des rapports plus courts avec un langage plus simple, 28% ont mis l'accent sur la portée, avec des questions et des résultats plus pertinents, 17% ont mis l'accent sur les processus, 10% sur l'accessibilité et la canalisation, 9% sur la variété avec des produits plus adaptés et 5% ont indiqué la rapidité.
- Dans l'ensemble, les produits d'évaluation plus courts (tels que les résumés de rapports d'évaluation) ont été jugés beaucoup plus utiles que les rapports d'évaluation complets (81 % contre 58 %).
- Les produits tels que les notes de synthèse et les infographies ont été jugés plus utiles par les directeurs et les cadres supérieurs.
- Bien que les résultats montrent clairement qu'il est nécessaire de rédiger des textes plus courts, lorsqu'on leur demande quel est le format préféré pour recevoir des informations sur l'évaluation, la majorité du public indique toujours la lecture (74 %), suivie de l'oral (65 %), de la vidéo (56 %) et de l'audio (39 %).

Traduire des informations d'évaluation dans un langage visuel nécessite des compétences spécifiques qui devraient être adaptées au contexte et à la culture. Je suis une fervente partisane de l'utilisation de la visualisation dans les processus et les produits d'évaluation ; cependant, il est important de prendre en compte le fait que des publics spécifiques peuvent encore avoir besoin d'informations textuelles (en utilisant la visualisation comme une aide au message), tandis que d'autres peuvent préférer recevoir l'ensemble du message dans un format visuel. Il est donc essentiel de comprendre les besoins d'information spécifiques des publics pour atteindre l'objectif et l'utilisation de l'évaluation.

Merci encore pour les excellentes contributions de chacun à cette discussion jusqu'à présent.

Pour aider ceux qui n'ont pas encore utilisé d'outils visuels et pour donner aux autres quelques idées sur ce que nous pourrions faire pour élargir et approfondir notre utilisation des outils visuels, il serait bon de partager toutes les ressources utiles que nous connaissons : outils, ressources, contacts... Nous pouvons les rassembler et les mettre à disposition sur EvalForward après la clôture de cette discussion.

Pour commencer, voici quelques ressources que j'ai trouvées utiles :

Lignes directrices (publications/vidéos/sites web) :

• a pensée visuelle peut-elle faciliter l’évaluation? L’approche innovante du PAM pour les ateliers de validation. Guide pratique utile avec trois vidéos illustrant le processus : https://www.evalforward.org/index.php/fr/blog/visual-thinking
• Vidéo Evaluvision ici ou téléchargez le guide EvaluVision ici - en anglais.
• Il existe un groupe EvaluVision sur Linked in.
• The Graphic Facilitator's Guide - Brandy Agerbeck (www.loosetooth.com) - en anglais
• Visual Meetings - David Sibbet (2010) (https://davidsibbet.com/visual-meetings-book/) - en anglais

Outils

Videoscribe est un outil très convivial que vous pouvez utiliser pour créer de courtes animations de tableau blanc (il existe une version d'essai gratuite) https://www.videoscribe.co

Netmap - pour une analyse participative des réseaux sociaux Boîte à outils NetMap: https://netmap.wordpress.com/about

Services

Le Forum international des praticiens visuels dispose d'un réseau de praticiens travaillant sur tous les continents. Visitez le site https://ifvp.org pour trouver un praticien près de chez vous.

Chers tous, 

Comme l'a mentionné Harvey Garcia dans un commentaire précédent, l'analyse des réseaux sociaux (SNA) est un outil intéressant à utiliser dans les évaluations. Je fais actuellement partie d'une équipe qui travaille avec la fonction d'évaluation du CGIAR. Nous évaluons la plateforme Genebank du CGIAR et planifions une analyse des réseaux sociaux qui aiderait le CGIAR et les banques génétiques à identifier les principaux nœuds/acteurs/partenaires et à étudier leurs relations et modèles d'interaction afin d'explorer la pertinence et l'efficacité de la plateforme Genebank et la manière dont la plateforme a répondu aux besoins de ses utilisateurs et de ses partenaires.

La SNA est souvent utilisée pour analyser et améliorer les flux de communication au sein des organisations ou avec leur réseau de partenaires. Elle est utile pour la visualisation des données afin de découvrir des modèles de relations et d'interactions.

Pour cette évaluation spécifique, l'analyse fournira des informations utiles en termes d'évaluation des flux de communication existants et de la manière dont ces relations peuvent être utilisées pour renforcer le fonctionnement de l'organisation et/ou de l'initiative du CGIAR.  

Dans le cadre de la présente évaluation, la SNA contribuera à

• Identifier les nœuds clés/centraux (partenaires, dans l'étude actuelle) dans le réseau qui peuvent être essentiels pour atteindre les objectifs de l'organisation de manière efficace et efficiente. 
• Améliorer les flux de communication avec et au sein des partenaires du CGIAR.
• Identifier les relations et les forces de ces relations entre les partenaires qui peuvent aider à gagner du temps et des efforts dans la conduite des initiatives et l'identification des voies optimales.
• Comprendre le flux d'informations au sein du réseau et essayer de créer des flux préférentiels.
• Appliquer des schémas de visualisation intuitifs pour décrire les relations, leur force, leur densité et leur réciprocité. Les techniques de visualisation des données SNA permettent de couper à travers les données bruyantes des réseaux sociaux et de révéler les parties du réseau qui nécessitent une attention particulière. La figure de ce blog copiée ci-dessous est un exemple de présentation visuelle de la SNA.

Les questions visant à analyser les modèles d'interaction et à identifier les forces des relations seront incorporées dans le questionnaire en ligne ou les entretiens utilisés pour l'évaluation et seront analysées à l'aide de Gephi ou de tout autre outil de SCN en ligne tel que Pajek ou UCINET.

Chère Harriet

Merci beaucoup pour l'envoi de ce visuel.

Je travaille actuellement à l'établissement d'un cadre d'évaluation pour les tribunaux de l'État de Victoria, en Australie. Votre diagramme fournit une excellente vue d'ensemble de la manière dont je peux conceptualiser le cadre, alors que je considère les lacunes existantes, le renforcement des capacités et le développement d'une culture globale de l'évaluation et de la prise de décision fondée sur des données probantes. L'outil visuel m'a certainement permis de faire passer le message !

Je vous remercie encore une fois.

Les outils visuels jouent un rôle essentiel dans l'amélioration de la communication et de l'engagement des évaluateurs. Ils apportent une aide précieuse en améliorant la clarté et la compréhension d'informations complexes. Les évaluations impliquent souvent de travailler avec des données étendues ou complexes, et les aides visuelles telles que les tableaux, les graphiques et les infographies permettent aux évaluateurs de présenter ces données dans un format plus accessible. En visualisant les données, les modèles, les tendances et les relations deviennent plus évidents, ce qui permet aux évaluateurs de communiquer efficacement leurs conclusions aux parties prenantes.

En outre, les évaluateurs analysent souvent des systèmes ou des processus complexes. Dans ce cas, les outils visuels tels que les diagrammes, les organigrammes et les modèles conceptuels s'avèrent inestimables. Ces représentations visuelles permettent de mieux comprendre les interdépendances entre les différents éléments du système, ce qui facilite les discussions et la collaboration entre les parties prenantes. En fournissant un langage commun et un point de référence visuel, ces outils permettent de transmettre des informations de manière efficace et d'impliquer les parties prenantes de manière plus active.

En outre, les outils visuels contribuent aux techniques de narration et de récit lors de l'élaboration des rapports d'évaluation. L'intégration d'éléments visuels tels que des images, des illustrations ou des vidéos dans les présentations et les rapports renforce leur impact, rendant les résultats plus attrayants et mémorables. En tirant parti de la narration visuelle, les évaluateurs peuvent faire passer efficacement leur message, susciter des émotions et capter l'attention des parties prenantes, ce qui se traduit par un meilleur engagement et une meilleure compréhension des résultats de l'évaluation.

Les processus d'évaluation participative peuvent bénéficier de manière significative des outils visuels. Des techniques telles que la cartographie mentale, la cartographie conceptuelle et les visualisations collaboratives favorisent l'engagement actif des parties prenantes. Ces outils facilitent les discussions de groupe, les séances de remue-méninges et les exercices de recherche de consensus. En encourageant l'expression de perspectives diverses et en favorisant un sentiment d'appropriation chez les participants, les outils visuels renforcent l'engagement et la collaboration.

En conclusion, les outils visuels constituent des aides essentielles pour les évaluateurs, leur permettant de communiquer plus efficacement des informations complexes et d'impliquer les parties prenantes. Grâce à la visualisation des données, aux modèles conceptuels, aux techniques de narration et aux approches participatives, les outils visuels améliorent la compréhension, favorisent la collaboration et augmentent l'impact des évaluations. En exploitant le pouvoir des visuels, les évaluateurs peuvent transmettre efficacement leurs résultats, capter l'attention des parties prenantes et faciliter des discussions et des processus de prise de décision significatifs.

J'apprécie notre discussion jusqu'à présent !

Cher Ram,

Je vous remercie pour ce thème intéressant qui m'a ramené à la période entre 1996 et 2002 où j'ai accumulé une importante expérience pratique avec l'utilisation d'outils participatifs dans le développement communautaire et où j'ai découvert la philosophie de Robert Chambers sur la participation. Il n'a pas été facile d'impliquer les bénéficiaires du développement dans l'élaboration de cartes sociales et de cartes des ressources, de cartes historiques et de transects, etc., car nous étions une équipe de spécialistes en R&D communautaire et participative cherchant à appliquer la philosophie de Robert Chambers dans son sens le plus profond : CE N'EST PAS LE FAIT D'UTILISER DES OUTILS PARTICIPATIFS QUI NOUS REND "ORIENTÉS VERS LA PARTICIPATION", MAIS LA MANIÈRE DE LES UTILISER. Et cette façon, pour nous, ne consistait pas à faire parler les bénéficiaires du développement, puis à repérer leurs informations sur un outil participatif, mais plutôt à les former à l'utilisation de ces outils, puis à les assister dans l'exercice de terrain pendant qu'ils dessinent certains de ces outils. C'est ainsi que nous avons pu apprendre d'eux - OUI, nous avons appris d'eux avant qu'ils ne commencent à apprendre de nous - et comprendre très bien leur état d'esprit et leurs pensées. Par la suite, nous avons repéré toutes les informations nécessaires sur des cartes géographiques afin de rendre les choses plus claires et nous avons inclus tous les outils dessinés par les bénéficiaires dans des parties (ou annexes) de nos rapports.

Et pour conclure, il n'est pas inutile de répéter que les outils participatifs sont de bons outils de visualisation pour renforcer la participation des bénéficiaires et la communication dans toutes les activités de développement.

Salutations distinguées.

Mustapha Malki, PhD

Spécialiste MEL

Bonjour chers collègues

Je crois que les outils visuels peuvent rendre les données plus accessibles et plus compréhensibles pour les parties prenantes qui ne sont pas des experts en la matière. Cela peut aider à promouvoir la transparence et l'engagement dans le processus d'évaluation.

Pourtant même si on parle de l'évaluation visuelle on a besoin des indicateurs définissant réellement c'est que c’est l'outil visuels et quell est sont rôle et son importance 

Layepresi

ablayegaye462@gmail.com

Cher Daniel,

Nous sommes d'accord sur plusieurs points concernant l'évaluation. Mais en ce qui concerne votre point, les "évaluations" commandées et payées par le gouvernement libérien qui évaluent les performances des donateurs, y compris la FAO dans le secteur de l'agriculture ?

Pour autant que je sache, je pense que notre gouvernement procède à une sorte d'évaluation des performances des donateurs. Ces évaluations couvrent tous les secteurs, y compris l'agriculture. La dernière en date est la "Joint Sectoral Portfolio Performance Review" qui s'est tenue du 19 au 29 juin 2023. L'examen fait le point sur toutes les interventions dans les différents secteurs par rapport aux priorités du gouvernement. Il s'agit d'une approche holistique de l'évaluation des performances sectorielles qui s'étend à tous les donateurs. (https://frontpageafricaonline.com/news/government-of-liberia-collaborates-with-united-nations-and-development-partners-for-sector-portfolio-review/)

En outre, le ministère des finances et de la planification du développement dispose d'un système d'évaluation des partenaires d'exécution au cours de leur réaccréditation. Les techniciens procèdent à une évaluation des interventions précédentes, comme condition préalable à l'obtention de l'accréditation, voire de l'autorisation sectorielle.

Excellente remarque Ram... Puis-je suggérer que les évaluations mécaniques servent à la conformité mécanique et non à la redevabilité ? (surtout si nous aspirons à rendre des comptes aux principales parties prenantes... et aux donateurs attentifs).

Chers tous,

De nombreux collègues ont mentionné l'utilité des outils visuels pour une meilleure communication.

Je partage l'utilité de cette approche. J'ai remarqué que les outils visuels - le langage avec une clarté universelle - aident à communiquer (pendant et après l'évaluation) facilement car les outils abordent les barrières linguistiques avec de multiples niveaux culturels et d'alphabétisation parmi les groupes. C'est d'autant plus utile lorsqu'il s'agit d'impliquer les bénéficiaires du développement. D'après mon expérience, les gens deviennent plus coopératifs, comprennent facilement le contexte et l'objectif et contribuent à une prise de conscience rapide, à une meilleure réponse et à un apprentissage croisé.

Mais ces évaluations, dans de nombreux cas, deviennent un processus mécanique avec un rapport longuement rédigé (avec un anglais soi-disant avancé qui n'est généralement pas compris par les nombreuses parties prenantes) qui sert l'objectif de la responsabilité mais pas de l'apprentissage. Dans le cadre de l'évaluation participative, j'ai une certaine expérience de l'utilisation d'outils visuels tels que les cartes des ressources sociales, les diagrammes de Venn, les cartes historiques et de mobilité et le tableau de bord de la communauté à des fins différentes. Les outils peuvent être développés en fonction des besoins et du contexte, mais une utilisation optimale des outils peut donner de meilleurs résultats.  

Je vous prie d'agréer, Madame, Monsieur, l'expression de mes salutations distinguées,

Ram  

Cher Musa,

Votre point de vue sur l'évaluation menée par les donateurs et ses conséquences est largement correct - les machines d'évaluation de Dahler-Larsen.

  "Le pilotage, le contrôle, la responsabilité et la prévisibilité reviennent sur le trône. L'objectif de l'évaluation n'est plus de stimuler des discussions sans fin dans la société, mais de les empêcher".

Le fait est que les donateurs financent et conçoivent ces machines. Qu'en est-il de la capacité d'évaluation des organismes donateurs ? Et je ne fais pas référence à l'expertise académique en matière de méthodologie (l'offre), mais plutôt à la politique de la demande.  

Par exemple, la fonction d'évaluation du DFID, aujourd'hui FCDO, n'a jamais été indépendante - elle a été cachée sous la fonction plus large de recherche - avec les conséquences inévitables que l'on connaît. Tony Blair était fier de son manque d'adaptabilité, car il n'avait pas de marche arrière et ne pouvait pas changer de cap. Il n'est donc pas surprenant qu'une étude indépendante ait attribué au DFID une note rouge en matière d'apprentissage : 

"Le personnel signale qu'on lui demande parfois d'utiliser les preuves de manière sélective afin de justifier ses décisions. 

Ce sont souvent les organisations les plus rigides et les plus bureaucratiques qui se félicitent d'être une organisation apprenante. Cela s'est produit, non pas parce que le DFID ne disposait pas de personnel excellent et compétent, mais plutôt parce que les puissants impératifs politiques et institutionnels empêchent de prendre le temps de penser, de réfléchir et d'être honnête. 

Soit dit en passant, avez-vous ou connaissez-vous des "évaluations" commandées et payées par le gouvernement libérien qui évaluent les performances des donateurs, y compris la FAO, dans le secteur agricole ?

Je suis d'accord avec Silva Ferretti sur le fait que les évaluations ne sont pas les longs rapports que nous écrivons. Malheureusement, les longs rapports sont toujours les principaux produits attendus. Je pense que c'est parce que nous utilisons les évaluations comme une exigence des donateurs plutôt que pour nos propres besoins d'apprentissage et comme un outil d'amélioration. Dès que nous cesserons de considérer les évaluations comme des exigences des donateurs, nous commencerons à être plus inclusifs et participatifs dans tous nos processus d'évaluation, y compris dans l'élaboration de processus plus inclusifs pour tous. J'insiste en fait sur les gens qui ne comprennent pas la signification des 25 % et des 40 %. 

Chère Harriet, 

Merci beaucoup d'avoir suscité cette discussion et, comme Paul l'a dit, pour les liens vers des exemples spécifiques. C'est très utile. 

J'ai aimé l'exemple du travail avec Financial Services Deepening Kenya (FSD) Kenya à Marsabit et la façon dont FSD Kenya a négocié des partenariats avec CARE et Equity Bank [lien ici] (Il serait intéressant de savoir, étant donné que tout cela a commencé en 2016, dans quelle mesure les groupes de Marsabit s'en sortent et s'ils restent dépendants du contrat de sous-traitance de CARE avec FSD Kenya. Quant à Equity Bank, je me demande si les produits d'épargne qu'elle a vendus aux groupes ont trouvé des "marchés" au-delà de Marsabit).

Par ailleurs, je voulais partager ma première expérience de l'utilisation d'outils visuels au début des années 1990 au Bangladesh, dans le cadre d'un projet d'irrigation, et les leçons que j'en tire encore aujourd'hui. Ils répondent à vos deux premières questions.

Je le fais pour deux raisons. Premièrement, je suis d'accord avec Silva Ferretti pour dire que l'utilisation d'outils visuels ne se limite pas à la communication du "résultat" d'une évaluation, mais qu'elle fait également partie intégrante du processus - comme le dit Kombate à propos de la collecte et de l'analyse des données. Deuxièmement, la référence faite par Harvey sur l'utilisation des SIG et de l'imagerie Landsat TM.

Nous avons "mesuré" la superficie des terres irriguées dans des communautés spécifiques à l'aide d'images Landsat du pays sur une période de trois ans. Nous avons constaté que les superficies irriguées variaient considérablement d'une communauté à l'autre au cours d'une même année et au fil du temps pour une même communauté. Nous voulions savoir pourquoi. Plutôt que de rester au bureau, nous avons dessiné à la main des cartes pour chaque communauté à partir des images Landsat et nous les avons emportées avec nous. Nous avons présenté ces cartes à chacune des communautés dans le cadre de groupes de discussion. Les discussions se sont concentrées sur l'écoute des groupes pour comprendre pourquoi et comment la demande en eau d'irrigation variait autant. Les "résultats" de ces discussions ont permis de tirer des leçons non seulement pour la communauté en matière de gestion des installations d'irrigation, mais aussi pour le soutien du gouvernement local de l'upazilla et les implications pour la politique nationale. Pour moi, c'était une leçon sur le fait que si vous voulez savoir pourquoi et comment les gens réagissent aux interventions au niveau national, il suffit d'aller leur demander et d'apprendre d'eux comment ils prennent des décisions et pourquoi. C'est bien mieux que de rester au bureau et de continuer à manipuler des données.

J'espère que ce qui précède n'est pas une contribution trop laconique et crue, et je vous remercie encore.

Meilleurs vœux,

Daniel

Les évaluations ne sont pas des "rapports écrits".

Les évaluations sont des processus visant à comprendre si, comment et dans quelle mesure le programme produit des changements (attendus et inattendus).

Si l'on adhère à ce point de vue, la communication est clairement au cœur du processus : communiquer l'objectif, susciter des idées, formuler et partager les résultats.

Malheureusement, les évaluateurs se contentent le plus souvent de mots écrits et ne maîtrisent pas d'autres formes de communication.

Cela limite considérablement l'engagement des parties prenantes et le partage des résultats, car d'autres personnes pourraient préférer d'autres méthodes de communication.

D'après mon expérience, presque tout fonctionne mieux que les rapports : dessins animés, graphiques, infographies, théâtre, musique, multimédia, etc.
(oui, je les ai tous essayés et ils ont été bien accueillis par toutes sortes de parties prenantes, y compris les donateurs).

Les évaluateurs ne doivent pas se contenter de penser "rapport". Ils doivent réfléchir à la meilleure combinaison des différents moyens de communication.

Les analphabètes peuvent parfaitement comprendre les supports visuels - à condition qu'ils soient correctement présentés -.

Les boîtes à outils participatives contiennent des idées pour montrer et discuter des pourcentages à l'aide de supports visuels. Il est certain qu'ils sont plus susceptibles de comprendre des supports visuels que des rapports rédigés en anglais...

Bien entendu, si nous entendons par "visuels" uniquement les graphiques Excel, nous passons à côté de tout un monde de possibilités.

Et les visuels ne s'improvisent pas : de même qu'il existe une grammaire pour écrire des mots, il existe une grammaire et un style pour produire des visuels.

Même en ce qui concerne les graphiques de données, il existe des livres entiers sur la visualisation des données, qui offrent des exemples (et soulignent également les problèmes potentiels de mauvaise communication).  Un simple visuel peut être très utile. Mais un bon visuel n'est pas simple à réaliser.

Il est clair qu'il faut aller au-delà de l'écrit. Mais n'oublions pas que cela ne s'improvise pas.

Merci pour ce démarrage Harriet et merci pour les liens vers d'autres documents. 

Peut-être suis-je une génération différente, car j'ai été élevée à la visualisation et à l'utilisation des multimédias tout au long du cycle du projet pour favoriser l'inclusion et la participation. 

Les principes fondamentaux demeurent - combien de fois les enquêtes sur l'apprentissage sont-elles entreprises ? Nous formulons actuellement des recommandations visant à examiner l'utilisation des styles d'apprentissage au sein d'une organisation, à aller plus loin et à examiner les différentes parties prenantes et la manière dont elles reviennent. 

Mes propres défis internes sont apparus lorsque notre fille a été scolarisée dans une école Aga Khan, ou, en tant que parents, nous avons dû nous interroger sur notre manière de communiquer et d'apprendre et nous demander si nous n'avions pas "imposé" des approches d'apprentissage qui ne correspondaient pas au style naturel par défaut des enfants. 

Il en va de même pour la manière dont nous continuons à envoyer des points sans mettre en place des boucles de rétroaction. Examinez les styles d'apprentissage, individuellement et au sein de la communauté (pratique ou sociale), puis construisez le style de communication capable d'offrir un impact. Cela va plus loin que le texte simple - avez-vous vu arriver le poulet jaune ? - ou la visualisation pour comprendre et ressentir comment nous regardons, voyons, parlons, écoutons, sentons et ressentons ce que nous voulons envoyer et recevoir. 

J'ai hâte de lire la suite, d'en entendre plus et d'avoir l'impression que cela favorisera la réflexion et l'action.

Paul

Je vous salue !
J'ai lu avec intérêt le premier courriel sur ce sujet et les premières réponses. Cependant, je suis un peu perplexe : il est évident que toute évaluation ne peut être entreprise que par rapport à un certain objectif donné. Pour moi, le seul objectif justifiable d'une évaluation est de vérifier si un projet, un programme, etc. peut atteindre ou a atteint l'objectif prévu pour le groupe cible.  Ce groupe peut être un groupe de stratèges, de concepteurs d'opérations ou de travaux sur le terrain.

Pour autant que je sache, il est difficile de comprendre comment un tel objectif - atteindre la population cible - peut être visualisé. Sans ce point d'ancrage, les visualisations seraient laissées à la dérive, comme un navire en panne de moteur dans une mer déchaînée.
A la vôtre !
Lal Manavado.

Je suis un nouveau membre de cet important forum et de ce groupe de professionnels. Point de discussion intéressant : les outils visuels peuvent-ils aider les évaluateurs à mieux communiquer et à s'engager ?

Je ne doute pas que les visualisations soient des outils importants pour mieux communiquer et s'engager, en particulier avec les parties prenantes. Mes seules préoccupations sont les suivantes : quel type de visualisation et quelles parties prenantes ? Par exemple, dans mon pays, le Liberia, la grande majorité des parties prenantes et plus particulièrement des bénéficiaires sont analphabètes. Bien sûr, présenter des diagrammes/graphiques sophistiqués, des tableaux avec des pourcentages, n'a vraiment aucun sens et ne leur communiquera rien du tout. Une évaluation est censée promouvoir la redevabilité. Il nous incombe donc explicitement, en tant que praticiens de l'évaluation, de partager avec nos bénéficiaires (ceux qui sont analphabètes) les résultats de l'évaluation. Les graphiques, tableaux et autres aides visuelles peuvent ne rien communiquer de substantiel à ces personnes. Par exemple, 25 % et 40 % sur les graphiques et les tableaux n'ont aucune signification pour eux. Des innovations en matière d'extraction sont nécessaires pour tenir compte de ces personnes parmi les parties prenantes qui doivent participer au partage des résultats de l'évaluation. J'ai testé le partage des résultats de l'évaluation avec ce groupe de personnes sans utiliser de beaux graphiques et tableaux.

Merci Kombate pour cet excellent résumé des avantages de l'utilisation d'outils visuels. Il est très intéressant d'apprendre comment les membres de notre communauté utilisent ces outils pour améliorer le processus d'évaluation et communiquer les résultats. J'ai trouvé la cartographie des réseaux sociaux très utile pour travailler avec les parties prenantes afin de comprendre et d'obtenir des informations sur les partenariats et les flux de communication. Les cartes de réseaux sociaux peuvent également être utilisées pour communiquer ces informations de manière efficace. Les cartes figurant dans le rapport partagé par Harvey méritent d'être consultées.

Je suis intéressé d'apprendre que le PNUD et la JICA intègrent tous deux les GIS (cartographie et données satellitaires) dans les évaluations et constatent que cela améliore la qualité de l'évaluation (pour la planification, en tant que couche supplémentaire de preuves et pour la communication des résultats). Peut-être y a-t-il là des implications pour la formation et les ressources que nous devons mettre à la disposition de nos équipes d'évaluation pour leur permettre de bénéficier de ces approches ?

Si quelqu'un est intéressé par des conseils et des outils pratiques pour la cartographie des réseaux sociaux dans ses évaluations, il peut consulter la boîte à outils Net-Map https://netmap.wordpress.com/about/ 

Quelqu'un du groupe l'a-t-il utilisée ?

Merci Isha de nous avoir parlé de l'utilisation croissante d'images dans les rapports de la JICA. J'ai trouvé un bel exemple de résumé visuel de leurs évaluations de projets ici https://www.jica.go.jp/Resource/english/our_work/evaluation/reports/2021/iu2gj8000000ompj-att/glance_2021.pdf

Keisuke, votre travail continue d'être une source d'inspiration pour moi ! C'est tellement bien de voir ce que représente le succès du PAM aux Philippines. J'aime l'idée de créer un concours de coloriage pour que beaucoup de gens (et d'enfants aussi) l'examinent de près. Impliquer des artistes locaux dans le processus de visualisation de l'évaluation est également une excellente idée.  N'hésitez pas à partager la vidéo avec nous lorsqu'elle sera prête.

J'ai hâte d'entendre d'autres expériences du groupe ! 

Harriet

Chère Harriet,

Merci beaucoup d'avoir lancé une discussion qui me passionne !

Permettez-moi de vous faire part des derniers développements d'EvaluVision au sein du PAM, que vous avez eu la gentillesse de citer en exemple. Après avoir tenté de poser les bases d'une méthodologie, EvaluVision se concentre désormais sur la recherche et le renforcement des talents locaux. Le PAM Népal a organisé un atelier avec les parties prenantes pour discuter d'une étude de base concernant un programme d'alimentation scolaire. J'ai travaillé avec un artiste local pour partager la méthodologie globale d'EvaluVision. Une vidéo documentaire est actuellement en cours de montage, et je pourrai peut-être la partager avant la fin de la discussion.

Outre EvaluVision, j'ai récemment été sollicité pour aider plusieurs bureaux nationaux du PAM à visualiser la théorie du changement. Après avoir participé à plusieurs ateliers techniques pour formuler la TdC, il a été suggéré de faire un visuel d'une page sans aucun terme technique. J'ai proposé, après avoir rédigé une illustration, d'organiser un concours de coloriage auquel tous les membres du personnel ou leur famille pourraient participer. La gagnante a été la fille d'un employé du PAM.  Je me rends compte qu'il s'agit davantage d'un tableau de vision que d'une théorie du changement, mais cela permet d'expliquer l'objectif global (à quoi ressemble le succès) et la manière dont nous y parvenons. Pour plus de détails et pour connaître l'œuvre gagnante, cliquez ici.

Une autre utilisation, comme l'a judicieusement souligné Harvey Garcia dans des messages précédents, est le croisement de l'évaluation et de l'analyse des données. Je vois un grand potentiel dans l'utilisation des big data pour l'évaluation. Je ne suis pas un data scientist qui peut partager de nombreuses idées, mais permettez-moi de partager un résumé graphique d'une discussion très intéressante sur l'évaluation et l'intelligence artificielle organisée par la BERD l'année dernière. Je suppose que l'avenir n'est pas si lointain lorsque l'intelligence artificielle créera un résumé graphique si vous téléchargez un rapport d'évaluation de 100 pages. (ou peut-être existe-t-il déjà un tel outil ?)

Cordialement 

Keisuke

L'utilisation d'outils visuels a de nombreux effets positifs

Les éléments les plus importants sont les suivants 

1. Visualisation des données. En termes de collecte de données qualitatives à l'aide de procédures de collecte de données. 
2. Visuels fondés sur des données probantes pour présenter les résultats en termes d'activités et de résultats concrets, ainsi que de conséquences et d'impact. Par exemple, l'impact d'une pandémie ou d'une lutte contre une maladie spécifique dans les secteurs de l'agriculture et de la santé, ou les efforts de consolidation de la paix.  
3. Les diagrammes, la détection du plagiat, le retour d'information et l'évaluation par les pairs, les enquêtes (TV, médias sociaux et enregistrement des entretiens avec les informateurs clés) et les sondages en classe dans le contexte de l'éducation.
4. Rapport visuel - Résultats - positifs et négatifs. Par exemple, la plupart des rapports de la JICA (Agence japonaise de coopération internationale) combinent des images. 
5. Ils offrent également aux utilisateurs flexibilité et diversité en leur permettant de choisir parmi un large éventail d'éléments graphiques, de formats et de styles et de les adapter à leurs goûts et à leurs objectifs.
    

Les défis sont les suivants : Les enquêtes en ligne nécessitent la transparence des données et l'identification de l'enquêteur et du destinataire de l'enquête. 

Bonjour chers collègues,

Sujet très intéressant.  J'ai le sensation que les outils visuels sont sous-utilisés dans la pratique de l'évaluation et qu'ils sont surtout utilisés après que le rapport d'évaluation a été produit, ce qui ne devrait pas être le cas. Je pense qu'il y a maintenant un regain d'intérêt pour l'utilisation de la visualisation des données afin de communiquer non seulement les résultats de l'évaluation mais aussi le processus. La visualisation est également utilisée pour planifier, rassembler et ajouter une autre couche de preuves dans une évaluation. Je me souviens que lorsque j'étais au Bureau de l'évaluation de la FAO, nous utilisions l'analyse des réseaux sociaux (SNA, selon l'acronyme anglais) comme outil de visualisation pour identifier et prioriser les parties prenantes pour les entretiens avec les informateurs clés et aussi pour évaluer le positionnement de la FAO https://www.fao.org/3/i8564en/I8564EN.pdf. Au bureau d'évaluation indépendant du PNUD, nous avons également commencé à utiliser la SNA pour les pays en situation de crise humanitaire, car l'accès et le temps sur le terrain sont limités pour mener des activités d'évaluation.

Le GIS est également une forme d'outil visuel. Son utilisation dans l'évaluation est plutôt limitée et surtout observée dans les évaluations de projets et certaines évaluations thématiques (principalement liées à la sylviculture et à l'infrastructure). Dans l'évaluation de programmes multithématiques (c'est-à-dire l'évaluation de programmes nationaux), son application n'a pas été pleinement optimisée. Au sein du Bureau indépendant d'évaluation du PNUD, nous avons commencé à intégrer l'utilisation du GIS en tant qu'outil de visualisation des données pour planifier les évaluations, fournir des preuves et communiquer nos conclusions aux parties prenantes. Notre dernier programme national indépendant au Cambodge met en évidence l'utilisation du SIG. Nous avons publié notre expérience dans la première édition du Asia Pacific Evaluation Journal. Voici le lien vers l'article :

https://drive.google.com/file/d/10LeQeCEC8ee2Kn6FTGAbLaau7cEphknQ/view

Harvey John D. Garcia, spécialiste principal de l'évaluation

Bureau de l'évaluation indépendante, PNUD

Bonjour Harriet,

Je suis Kombate, une jeune évaluateur du Togo (un pays d'Afrique de l'Ouest).

J'ai lu attentivement votre courrier dans le groupe evalforward, et j'aimerais partager avec vous mes réflexions sur les outils visuels dans l'évaluation (je ne suis pas un expert, je partage simplement mon opinion, compte tenu de ma passion pour la visualisation des données). 

1- L'utilisation d'outils visuels dans les évaluations comme un plus peut:

• Améliorer la compréhension et l'engagement :
  Les outils visuels peuvent aider les gens à comprendre des informations complexes plus facilement et à s'y intéresser plus profondément. En effet, ils font appel à notre tendance naturelle à traiter l'information de manière visuelle.
• Améliorer la communication :
  Les outils visuels peuvent aider à communiquer les résultats d'une évaluation de manière plus claire, plus concise et plus attrayante. Cela peut s'avérer particulièrement utile lorsque l'on communique avec des parties prenantes qui ne sont peut-être pas familiarisées avec la terminologie ou les concepts de l'évaluation.
• Améliorer la collaboration :
  Les outils visuels peuvent être utilisés pour faciliter la collaboration entre les parties prenantes de l'évaluation. En effet, ils fournissent un langage et un cadre communs pour discuter des résultats de l'évaluation.
• Augmenter l'impact :
  Les outils visuels peuvent contribuer à accroître l'impact des évaluations en les rendant plus accessibles et plus mémorables. Cela peut conduire à une meilleure prise de décision et à de meilleurs résultats.

2- Types d'évaluation/étapes de l'évaluation les plus propices à l'utilisation d'outils visuels

Les outils visuels peuvent être utilisés efficacement à tous les stades du processus d'évaluation, de la planification et de la conception à la mise en œuvre et à l'établissement de rapports. Toutefois, ils sont particulièrement bien adaptés aux étapes suivantes :

• Planification et conception : 
  Les outils visuels peuvent être utilisés pour clarifier les questions d'évaluation, identifier le public cible et élaborer le plan d'évaluation.
• Collecte des données :
  Les outils visuels peuvent être utilisés pour collecter des données auprès des parties prenantes, par exemple par le biais d'entretiens, de groupes de discussion et d'enquêtes.
• Analyse des données :
  Les outils visuels peuvent être utilisés pour aider à analyser et à visualiser les données. Cela peut permettre d'identifier des modèles et des tendances et de communiquer les résultats aux parties prenantes.
• Rapports :
  Les outils visuels peuvent être utilisés pour créer des rapports plus attrayants et plus faciles à comprendre. Cela peut contribuer à accroître l'impact de l'évaluation.

3- Autres idées ou préoccupations concernant l'utilisation d'outils visuels

• Il est important de choisir l'outil visuel adapté à l'objectif visé :
  Il existe de nombreux types d'outils visuels, et chacun d'entre eux a ses propres forces et faiblesses. Il est important de choisir le bon outil pour l'objectif de l'évaluation.
• Il est important de s'assurer que les outils visuels sont accessibles à toutes les parties prenantes :
  Cela signifie qu'il faut utiliser un langage clair et simple et éviter le jargon. Il est également important de tenir compte du contexte culturel des parties prenantes.
• Il est important d'être conscient des limites des outils visuels :
  Les outils visuels peuvent être un moyen puissant de communiquer des informations, mais ils ne peuvent pas remplacer un texte écrit clair et concis.

Cordialement

Kombate Nawanti 
Project analyst at ShARE
Master Degree in Monitoring and Evaluation
Republic of Togo