Rendre compte et soutenir l'utilisation et l'influence de l'évaluation

Chers tous,

Merci pour les contributions pertinentes et très utiles à ce débat que j'ai lancé. Merci également d'avoir rempli l'enquête ; nous avons reçu 70 réponses d'évaluateurs. Ce débat a été très riche et, dans le cadre de l'échange continu de connaissances, nous synthétiserons les contributions, analyserons les réponses à l'enquête et publierons un blog dans les prochains jours, qui, je pense, vous sera utile. Ne manquez pas le blog sur le site web d'EvalForward.

Thank you! Asante! Merci! Gracias! Grazie! शुक्रिया, ඔබට ස්තුතියි, நன்றி, Salamat, Takk skal du ha, Bedankt, Dankeschön ...

Je suis d'accord avec les commentaires précédents de John et Silva. 

La responsabilité des évaluateurs est de donner des recommandations et non des solutions. Mais les recommandations aideront les "solutions". 

Ce qui manque dans la pratique de l'évaluation est :  

a. La plupart des recommandations sont irréalistes et irréalisables. 

b. Il est temps que les évaluateurs cultivent une vision de l'avenir. 

c. Les conclusions et les recommandations devraient tenir compte du programme (de manière holistique).

d. Les évaluateurs devraient concevoir leurs propres indicateurs d'évaluation et cela devrait être inclus dans les termes de référence. 

De mon point de vue, l'impact le plus important des évaluations est l'orientation qu'elles fournissent aux projets futurs en les guidant dans leur évolution pour mieux servir les bénéficiaires visés. Malheureusement, au moins pour les projets de développement de la petite agriculture, les évaluations sont devenues un mécanisme de propagande des projets, indépendamment de la mesure dans laquelle les bénéficiaires s'y fient ou non.

Dans une certaine mesure, cela est nécessaire car le coût initial pour faire passer les projets de la conception au contrat de mise en œuvre et enfin à l'opportunité de discussions détaillées avec les bénéficiaires peut représenter quelques millions de dollars et plus de deux ans de temps et d'efforts considérables par une multitude de personnes. Avec de tels coûts initiaux, avant que le responsable de la mise en œuvre n'ait la possibilité de mener des entretiens détaillés avec les bénéficiaires afin de déterminer pleinement leurs besoins, personne ne veut apprendre que les bénéficiaires n'étaient pas vraiment intéressés par l'activité et qu'ils évitaient le projet pour diverses raisons valables.

Cependant, lorsqu'ils sont utilisés plus à des fins de propagande que d'orientation, l'organisme de mise en œuvre peut en tirer quelques avantages en termes d'extension du projet et de projets futurs, mais aucun avantage réel pour les bénéficiaires. Au lieu de cela, les projets qui, selon la plupart des normes, seraient considérés comme un échec, deviennent plus profondément ancrés dans les futurs projets de développement, réduisant tout effort d'ajustement des projets et gaspillant des montants massifs d'investissements de développement qui pourraient être mieux utilisés dans une approche alternative.

Veuillez consulter la page web suivante :

https://agsci.colostate.edu/smallholderagriculture/appeasement-reportin…

Pour éviter qu'un effort d'évaluation ne devienne un outil de propagande plutôt qu'une orientation pour de futurs projets, il faut peut-être davantage tenir compte de la manière dont les données sont analysées que de ce qui est collecté. Cela peut être aussi simple que d'éviter l'analyse agrégée en faveur d'une analyse en pourcentage. Lorsqu'il s'agit de petits exploitants agricoles, gérant chacun un à deux hectares, on peut rapidement compter un nombre impressionnant de participants individuels et obtenir une bonne évaluation de propagande, mais cela ne dira rien sur ce qui serait possible. Cependant, s'il est exprimé en termes de pourcentage de bénéficiaires potentiels, le chiffre global impressionnant peut devenir très discutable. On pourrait dire la même chose de la quantité de produits commercialisés par le projet. Le volume total peut sembler impressionnant, mais s'il est calculé au prorata des membres individuels, il pourrait ne représenter qu'un petit pourcentage de leur production, voire ne représenter que des remboursements de prêts en nature, la majeure partie de leur activité allant aux personnes que le projet tente de remplacer pour offrir aux bénéficiaires de meilleures conditions commerciales. S'il était converti sur une base communautaire, ce qui est le fondement des projets de développement, ce montant serait presque insignifiant.

 Le véritable besoin d'une évaluation est, avant de commencer l'évaluation, de développer une série d'objectifs pour ce qui séparerait le succès de l'échec et de le faire en pourcentage plutôt qu'en nombre global. Il s'agirait du pourcentage de l'activité des agriculteurs participant au programme, ou du pourcentage des produits des agriculteurs commercialisés par le projet, ainsi que du pourcentage des produits des communautés commercialisés par le projet. Par exemple : 70 % de l'activité des agriculteurs participant au lieu de 150 agriculteurs impliqués, ou 80 % de la production de maïs commercialisée par le projet avec seulement 20 % de ventes secondaires. Cela pourrait facilement donner une perspective très différente de la façon dont le projet a été reçu et sur lequel les petits exploitants bénéficiaires se sont appuyés, et entraîner des ajustements majeurs aux futurs projets qui serviraient mieux les bénéficiaires.

Veuillez consulter les pages web suivantes :

https://agsci.colostate.edu/smallholderagriculture/mel-impressive-numbe…

 https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…

https://agsci.colostate.edu/smallholderagriculture/request-for-informat…

Nous vous remercions

Cher Silva

C'est très bien dit, et cela met en évidence la valeur intégrale et les valeurs d'un évaluateur. Je considère souvent notre rôle comme celui d'un facilitateur et d'un traducteur qui comprend le langage du contexte, de la culture et de l'expérience et le traduit dans le langage des théories techniques, des institutions, des ressources et de la prise de décision, dans l'espoir de renforcer la connexion, la compréhension et le flux positif entre eux pour faciliter les modèles et les solutions qui émergent. 

Merci d'avoir pris le temps de faire une si bonne explication.

Bien à vous 

Dorothy Lucks

Salutations !

Trop souvent, les personnes qui se consacrent à un domaine commencent à manquer le "tout" en raison de leur spécialisation. Il est si facile de ne pas voir la forêt pour une espèce particulière d'arbre, d'arbuste ou de buisson. Ce réductivisme n'est que trop familier pour la plupart des gens, et certains ont même inventé une nouvelle expression pour le redécrire, à savoir "penser en silos".

Peut-être que quelqu'un qui n'est pas chargé d'une expertise dans un domaine spécifique pourrait voir ce qui aurait pu échapper à un professionnel. Après tout, Shakespear et James Watt n'ont pas suivi de cours universitaires dans leur domaine, mais ils ont réussi à accomplir beaucoup de choses. Ainsi, un évaluateur humble pourrait voir ce qui a échappé à un expert ayant des années d'expérience.

A la vôtre !

Lal.

Bonjour

Je pratique l'humilité en me posant une question différente :

Si des personnes qui travaillent depuis longtemps sur un problème, avec une bien meilleure compréhension du contexte, n'ont pas trouvé de bonne solution... comment pourrais-je, moi, un évaluateur externe, le faire ?

En tant qu'évaluateur, je ne peux certainement pas trouver de solutions mais je peux - avec une approche de facilitateur et non d'expert :

* aider à trouver les "pièces manquantes" du puzzle, en réunissant, au même endroit, les points de vue et les idées des différents acteurs.

* aider à mieux articuler et systématiser la réalité, afin que les gens puissent avoir une meilleure carte sur laquelle trouver des solutions

* capturer des idées, des leçons qui sont trop souvent implicites et qui, si elles sont partagées, peuvent aider à changer la façon de travailler.

* partager des idées sur des choses que j'ai vues fonctionner ailleurs (mais, attention, je faisais toujours cela dans la phase de collecte de données, afin d'obtenir un retour sur ces "amorces de conversation", et les gens trouvent souvent rapidement beaucoup de choses à vérifier et à améliorer)

* créer des espaces, dans le cadre du processus, pour que les gens soient exposés et réagissent aux preuves, au fur et à mesure qu'elles sont partagées

* Identifier ce qui semble être les préoccupations prioritaires à traiter - en les reliant aux défis, aux opportunités et aux possibilités qui se présentent.

Ce n'est pas de la recherche. Et ce ne sont pas des solutions.

Il y a tout un monde de choses entre les "problèmes" et les "solutions"... cela inclut les apprentissages, les possibilités, les preuves systématisées.

Et je vois des gens vraiment intéressants et désireux de s'engager dans cette voie... Bien plus que lorsque j'avais l'habitude de leur prêcher des solutions simples :-)

Selon Olivier Cossee, "les évaluateurs doivent proposer des solutions raisonnables aux problèmes qu'ils soulèvent... la partie difficile est de proposer quelque chose de mieux, de manière constructive."

Une solution raisonnable est, au moins implicitement, une théorie du changement. Elle doit être explicite : un objectif provisoire, une première étape vers cet objectif et des étapes intermédiaires. La partie la plus difficile est cette première étape. Faire ce premier pas devrait répondre à la question "Cela vaut-il la peine d'être envisagé ?".

John Hoven

Bonjour Silvia et tous,

Je suis d'accord sur le fait que les évaluateurs ne sont pas les seuls à essayer de trouver des solutions, et que les gestionnaires de programmes et les décideurs ne devraient pas être tirés d'affaire, mais je pense que les évaluateurs doivent proposer des solutions valables aux problèmes qu'ils soulèvent. 

Sinon, je ne vois pas leur valeur ajoutée, ni ce qui différencie l'évaluation de la recherche. De plus, une évaluation qui se garderait de proposer des solutions serait à mon avis un exercice plutôt facile et négatif : il n'est pas si difficile de repérer les questions et les problèmes, tout le monde peut le faire ; la partie difficile est de proposer quelque chose de mieux, de manière constructive. Se forcer à proposer des alternatives raisonnables est souvent un exercice d'humilité, dans la mesure où il oblige à réaliser que "la critique est facile, mais l'art est difficile".

Je vous souhaite bonne chance,

Olivier

Chers tous, 

Je suis d'accord pour dire qu'il s'agit d'une merveilleuse discussion et je suis entièrement d'accord avec Silva.

Cela peut sembler une platitude, mais j'ai toujours été convaincu que les systèmes de suivi et d'évaluation devaient être détenus et développés par l'équipe du programme, les parties prenantes et les bénéficiaires. Pourtant, au cours des 18 derniers mois, je me suis pleinement engagé à soutenir un programme à ce niveau (sous la direction du programme) en pensant que c'était la meilleure opportunité de tous les temps et que j'allais en tirer le meilleur parti.

Mais le résultat est pour le moins décevant. Attention à chaque fois que vous entendez " nous ne voulons pas nous tirer une balle dans le pied, n'est-ce pas ? ". Ou lorsque la communication officielle est axée sur l'autopromotion/l'autosatisfaction (à quel point nous sommes fantastiques, etc.) alors que les bénéficiaires n'ont pas encore été témoins de quoi que ce soit dans leur environnement direct ou leur vie quotidienne. 

Je pense que l'une des clés est la place de l'évaluation dans l'organigramme (voir ci-dessous). Comment les responsables du S&E au niveau du projet interagissent-ils avec les responsables du S&E au niveau du programme et ainsi de suite ? Comment les responsables du S&E au niveau du programme interagissent-ils avec le bureau d'évaluation au niveau du directeur général ou avec tout " bureau d'évaluation indépendant " existant rattaché au conseil d'administration ? La mise en place d'un système MEAL étant une fonction de soutien mais aussi de redevabilité : comment les deux fonctions se coordonnent-elles et se complètent-elles ?

De même, avons-nous des professionnels du S&E au niveau du projet mais aussi au niveau des parties prenantes (gouvernements, donateurs et représentants des principaux bénéficiaires, etc.) et sont-ils tous connectés avant de pouvoir dire qu'un système de S&E est en place ?

Une bonne pratique que j'ai vue consiste à faire valider (contractuellement) le système de S&E par le comité de pilotage à la fin de la période de démarrage.

Une autre idée répandue est que l'évaluation est un état d'esprit plutôt que des instruments techniques complexes (Lal. mentionne Comment faire comprendre une évaluation aux "planificateurs". - ce qui est correct, bien que parfois l'évaluation ne soit pas seulement comprise spontanément mais poussée en interne).

Il y a alors un risque de " double peine " pour les bénéficiaires finaux. Des gestionnaires de programmes engagés qui, même intuitivement, adhèrent pleinement à l'évaluation et en tirent le meilleur parti, alors que dans le même temps, un écosystème " réticent " utilisera des trous noirs dans l'organigramme pour que l'évaluation ait lieu trop tard, qu'elle ne soit pas liée à la prise de décision stratégique et que l'on en tire finalement de jolis graphiques en couleur avec le " nombre de personnes formées " et les trucs habituels. 

Heureux de participer, j'espère que cette conversation se poursuivra ;-)

A la vôtre, 

Sébastien 

Salutations !

En ce qui concerne la capacité d'un évaluateur à suggérer une meilleure approche pour résoudre un problème, je pense qu'il faut prendre en considération deux aspects de la question.

Premièrement, une évaluation est entreprise pour déterminer dans quelle mesure une approche donnée permet d'atteindre un objectif prédéterminé. Dans mon exemple, il s'agissait d'améliorer la santé publique d'un pays non nommé. Les autorités politiques ont opté pour une unité de cardiologie ultra-moderne dans la capitale d'un pays où il n'y avait pratiquement aucun soin de santé primaire pour la majorité.

Lors de l'évaluation pré-projet, cela serait évident pour un évaluateur qui regarde la réalité telle qu'elle est, plutôt que comme un exercice académique. Il est vrai que ce n'est pas toujours aussi simple que cela semble l'être. Malgré tout, je crois qu'un évaluateur qui n'a pas peur d'appliquer son bon sens aux réalités locales existantes d'un endroit donné serait capable de faire quelques suggestions judicieuses sur certains changements génériques à apporter à un plan destiné à atteindre un objectif. L'évaluateur n'est peut-être pas compétent pour recommander une action spécifique, mais les changements génériques devraient être à sa portée.

Dans l'exemple de la "santé publique", il est évident pour un évaluateur informé que les soins de santé primaires ont une priorité logique par rapport à une unité de cardiologie fantaisiste d'utilité limitée. Bien entendu, il ne serait pas compétent pour recommander les modalités de mise en place d'un tel système de soins de santé.

A la vôtre !

Lal.

PS :

N'oublions pas que l'évaluation vise à améliorer d'une manière ou d'une autre la qualité de vie de personnes réelles et qu'elle ne doit pas être confondue avec une entreprise abstraite portant sur des entités théoriques.

De merveilleuses discussions ici ! Alors, avons-nous vraiment besoin d'évaluations ? Pourquoi dépenser toutes les ressources pour entreprendre des évaluations ? Les évaluateurs sont-ils alors nécessaires ? Autant de questions qui me viennent à l'esprit après avoir lu ce fil de discussion ! 

Salutations,

Obando 

La clarté... bien sûr, absolument ! L'elevator pitch... oui et non.

Un "elevator pitch" est très utile comme point d'entrée.

Mais il faut ensuite reconnaître que le but d'une bonne évaluation est de révéler la complexité de la réalité (sans être compliqué).

Elle peut donner des éléments et des idées nouvelles, mais pas la solution.

Le "elevator pitch" est le point d'entrée, il met en évidence les principaux domaines à traiter, et il peut certainement souligner certains points de pression.
Mais je ne suis pas sûre que l'on puisse toujours donner une idée précise des solutions possibles.
Comme on dit, "pour chaque problème, il y a toujours une solution simple. Et elle est fausse".

Les solutions sont à trouver, comme Bob l'a si bien dit - au-delà de l'évaluation. (ou dans le cadre de celle-ci, uniquement s'il s'agit d'une évaluation participative, où les acteurs locaux clés s'engagent réellement dans la formulation des résultats et s'approprient véritablement le processus).

Ainsi, les outils et les messages dont nous avons besoin ne sont pas seulement les "elevator pitches", mais ceux qui aident à transmettre et à naviguer dans la complexité de manière plus simple et réalisable.

Être conscient que ce n'est pas à l'évaluateur de marteler les messages, mais aux parties prenantes du projet de se les approprier.

Bonjour à tous !

J'ai moi aussi suivi la discussion avec beaucoup d'intérêt. Je suis tout à fait d'accord avec Lal sur la nécessité de clarté, de concision et d'absence de jargon. Si vous n'êtes pas capable d'expliquer en quelques mots simples le projet que vous avez évalué à quelqu'un qui n'y connaît rien (comme votre grand-mère ou votre oncle), alors vous ne l'avez pas encore évalué. Vous avez juste collecté des données, c'est tout. Vous devez encore digérer ces données, voir ce qu'elles signifient, les synthétiser en un diagnostic clair et utilisable des problèmes et des solutions possibles. La capacité de résumer une évaluation en un "discours d'ascenseur" clair et convaincant est la clé de son utilité. Il est également important pour l'évaluateur d'être capable de marteler ce message clair encore et encore, de manière cohérente auprès de différents publics. 

A la vôtre,
Olivier
 

Salutations !

J'ai suivi cette discussion avec intérêt, et il me semble que le point que l'on essaie de faire valoir ici est que l'évaluation devrait entraîner un changement souhaitable dans la façon dont une politique/stratégie/tactique, c'est-à-dire une mise en œuvre sur le terrain, est censée atteindre son objectif. Dans le cas contraire, l'évaluation ne serait que "beaucoup de bruit pour rien". Qu'il s'agisse d'un rapport impressionnant ou d'une série de graphiques colorés. Sur ce point, je ne peux qu'être d'accord avec Silva.

D'autres participants ont déjà relevé plusieurs obstacles au progrès, tels que l'opportunisme politique, l'incompétence, la corruption, l'indifférence des décideurs, le manque de ressources, l'ingérence inacceptable des donateurs, etc. Tout cela suppose qu'une évaluation donnée a été comprise, mais...

Nous pouvons difficilement considérer ce "compris" comme acquis ; je pense que c'est le point que Silva soulève ici. Si j'ai bien compris, la question est alors de savoir quelle forme précise doit prendre une évaluation pour faciliter une telle compréhension, tout en espérant qu'elle puisse inciter les décideurs politiques/stratèges/planificateurs de terrain à revoir leur approche pour atteindre un objectif prédéterminé.

En d'autres termes, l'évaluation guiderait alors la révision de l'approche précédente en vue d'atteindre le même objectif. Ce processus peut devoir être répété car d'autres conditions influençant la réalisation d'un objectif peuvent changer. Un exemple extrême d'une telle influence est l'infection actuelle de Corona.

Ici, nous avons identifié deux problèmes fondamentaux :

1. Comment faire en sorte que les "planificateurs" comprennent une évaluation.
2. Comment les inciter à réviser leurs plans en fonction d'une évaluation. 

Il semble que cela soit beaucoup plus difficile, surtout au vu des obstacles que nous venons d'évoquer précédemment.
Cependant, en nous limitant à notre première question, je pourrais suggérer qu'une évaluation prenne la forme d'une courte critique des actions génériques qu'un plan incarne. Pour prendre un exemple concret, disons qu'un plan suggère qu'afin d'améliorer la santé publique, les autorités prévoient de mettre en place une unité de cardiologie ultra-moderne dans la capitale d'un pays. Le donateur est plein d'enthousiasme et soutient le projet. Pourtant, le pays concerné offre à peine des soins de santé primaires à ses citoyens.

Ici, à mon avis, l'évaluation préalable au projet serait courte et lucide, et se présenterait comme suit :

"Ce projet aurait un effet bénéfique extrêmement limité sur la santé publique du pays, et il est proposé que les fonds et les ressources humaines disponibles soient déployés pour fournir des soins de santé primaires dans des centres situés à X, Y, Z, etc.". 
C'est quelque chose qui s'est réellement produit et j'ai supprimé les noms du pays et du donateur. Je ne pense pas que le rapport d'évaluation réel ressemblait à ma version, mais il devait être impressionnant par son épaisseur et son inutilité.

Alors, les évaluateurs sont-ils prêts et capables de se concentrer sur l'aspect pratique et de guider les mains qui les nourrissent vers un bien commun avec quelques phrases lucides et sans jargon ?

A la vôtre !

Lal.

Cher Mauro,

J'espère que ce courrier vous trouvera bien.

Comme le dit Dorothy, l'évaluation a un volet sur la présentation des conclusions et des commentaires avant le rapport final. Pour moi, c'est la meilleure partie de l'exercice d'évaluation. Dans certains cas, j'ai demandé aux organisations de fournir une bonne représentation lors de la présentation des conclusions et des commentaires, y compris à différents niveaux tels que les sous-nationaux, le niveau central, parfois les responsables de terrain.

Les avantages de présenter les résultats de l'évaluation sont que vous serez en mesure de vous engager dans la vérification des données et également de recueillir des informations qualitatives supplémentaires, ainsi que de surmonter le malentendu selon lequel l'évaluation est un exercice de recherche de fautes, etc.

Vous pouvez également avoir une discussion préalable avec les parties prenantes sur le processus d'évaluation.

Isha

Excellent résumé

Un point à souligner.

Aller au-delà du rapport ne signifie pas "faire un rapport visuel".

Un rapport visuel est plus joli, mais cela reste un rapport.

"Aller au-delà du rapport" signifie considérer l'évaluation comme un processus qui ne se termine pas par un seul produit - qu'il soit visuel ou non.

La communication des résultats, le partage des idées doivent se faire tout au long du processus, sous de nombreuses formes.

Une bonne évaluation ne doit pas nécessairement être un "rapport".

Je préconise des stratégies, des options pour partager les idées et les résultats avec différents publics, tout au long du processus.

Cela peut ne PAS inclure un rapport. La rédaction d'un rapport prend énormément de temps et représente une grande partie du temps consacré à l'évaluation.

Est-ce le meilleur investissement ? Est-elle nécessaire ? Nous sommes tellement habitués à penser qu'une évaluation est un rapport que nous ne le remettons pas en question.

En plus des évaluations en temps réel, il y a le "partage d'informations en temps réel".

C'est quelque chose de trop peu exploré. Pourtant, il peut créer de grands changements dans la façon dont l'évaluation se déroule.

Il s'agit de partager des idées préliminaires, des preuves, afin que les personnes impliquées dans l'évaluation puissent contribuer à façonner les résultats.

Encore une fois : nous sommes tellement habitués à penser que nous partageons les "produits finis" que les possibilités de partage de l'information en temps réel ne sont pas vraiment comprises...

Merci encore pour cet excellent résumé, qui aide vraiment à intensifier la discussion et à générer de nouvelles idées.

(et, vous savez quoi ? C'est un bon exemple de "partage d'informations en temps réel" de nouvelles idées ! :-)

À l'excellente observation de Dorothy, selon laquelle les raisons politiques l'emportent souvent sur les conclusions factuelles et objectives d'un rapport d'évaluation, j'ajouterai un autre facteur qui pointe son nez, souvent de manière hideuse : le financement.

Trop souvent, les considérations financières, à tort ou à raison, deviennent le seul critère pour les prochaines étapes, et non le contenu d'un rapport d'évaluation.

Triste, mais vrai.

V. Suresh

Conseil de l'Europe

Strasbourg, FRANCE

Cher Mauro

Vous soulevez un bon point. Il y a généralement un retour d'information avant la finalisation du rapport d'évaluation. Souvent, il s'agit principalement des parties prenantes internes de l'initiative (politique, programme, processus, projet) qui est évaluée et du commissaire de l'évaluation. Cette démarche est extrêmement utile et permet de s'assurer que les rapports sont de bonne qualité et que les recommandations sont formulées de manière à pouvoir être mises en œuvre. Malheureusement, les parties prenantes du contenu de l'évaluation ne sont souvent pas les décideurs de l'allocation des ressources ou des actions stratégiques futures. Par conséquent, bien qu'il existe un processus formel de retour d'information, les décideurs ne s'engagent souvent dans l'évaluation qu'une fois celle-ci terminée. Par exemple, nous évaluons actuellement un service de santé rural. Les résultats sont importants et les parties prenantes sont très engagées dans le processus. Mais la décision de poursuivre ou non le service est centrale et les décisions sont susceptibles d'être prises pour des raisons politiques plutôt que sur la base des résultats de l'évaluation. L'évaluation doit acquérir une plus grande visibilité au sein des principaux ministères de la planification afin d'exercer une influence sur les autres ministères pour qu'ils prennent leurs décisions sur la base de données probantes plutôt que sur la base de considérations politiques. Nous sommes encore loin de cette situation, mais le passage aux notes de synthèse sur les politiques d'évaluation est une bonne initiative qui donne aux responsables politiques ministériels les outils nécessaires pour informer correctement les décideurs.

Bien à vous

Dorothy Lucks

Chers tous,

Les connaissances, expériences et réflexions partagées sur ce sujet sont très pertinentes et utiles. Merci pour vos contributions ! Voici quelques-uns des éléments que j'ai retenus jusqu'à présent. D'autres contributions/réflexions sont les bienvenues. N'oubliez pas non plus de répondre à l'enquête ici (en anglais).

Un rapport d'évaluation concis

Rédiger trop de pages, c'est-à-dire un rapport d'évaluation volumineux, risque d'ennuyer le lecteur/utilisateur, qui lirait des choses qu'il connaît déjà ou qui chercherait à aller droit au but. Très peu de personnes, y compris les utilisateurs de l'évaluation, prendraient le temps de lire d'énormes rapports d'évaluation. En fait, même les évaluateurs sont moins susceptibles de lire (une fois finalisé) un rapport qu'ils ont produit ! Voici quelques-unes des recommandations : 
- Faire une page exécutive de moins de 4 pages (écriture recto-verso), soulignant les résultats et la conclusion et les recommandations basées sur les résultats.
- Faire un résumé de moins de 10 pages, avec plus de tableaux, de diagrammes et de conclusions sous forme de puces.
- Le rapport complet doit faire 50 pages.
- Mettre en évidence les changements (ou l'absence de changements) et souligner les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. 

Au-delà du rapport d'évaluation : utilisation de supports visuels

Tant que les évaluations ne seront pas principalement perçues comme des exigences et des rapports bureaucratiques, nous passerons à côté de possibilités fantastiques pour mieux apprendre. Il est regrettable que nous supposions que la seule "rédaction de rapports" soit la meilleure façon de saisir et de transmettre des preuves et des idées. Communiquer les résultats d'une évaluation de manière concise, compréhensible et significative est un défi. Nous avons besoin d'une pensée à la fois littérale et visuelle pour utiliser l'évaluation en résumant les résultats d'une manière plus visuelle grâce à l'utilisation de graphiques, de dessins et de multimédia. Par exemple, le PAM des Nations unies dans la région Asie-Pacifique associe l'évaluation à la facilitation visuelle grâce à une méthodologie appelée EvaluVision. Il est utile d'impliquer des personnes qui peuvent avoir de fantastiques capacités d'apprentissage, d'analyse et de communication, mais qui ne sont pas nécessairement des rédacteurs de rapports.
Cependant, le défi est que les visuels sont souvent perçus comme "agréables" et "cool". Tout le monde les aime et les trouve utiles, mais il faut quand même élaborer un rapport normal, car c'est ce que veulent les commissaires d'évaluation, y compris les bailleurs de fonds. 

Un changement de paradigme dans la formulation des recommandations

Il y a souvent des écarts entre les résultats, les conclusions et les recommandations dans le rapport d'évaluation, ce qui peut nuire à la qualité et à l'utilisation des évaluations. Traditionnellement, les évaluateurs procèdent à la formulation de recommandations à partir des conclusions, mais le fait de permettre à l'équipe de mise en œuvre du projet de faire appel à un responsable politique pour rédiger conjointement des recommandations exploitables peut contribuer à améliorer l'utilisation de l'évaluation. Le rôle de l'évaluateur est de s'assurer que toutes les conclusions ou résultats importants sont traduits en recommandations exploitables en aidant l'équipe de mise en œuvre du projet et le décideur politique à rester aussi proches que possible des preuves et des idées de l'évaluation. Cela peut se faire en posant des questions qui permettent d'aboutir à des recommandations exploitables et en veillant au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. L'objectif est que les utilisateurs de l'évaluation s'approprient les recommandations tandis que l'équipe d'évaluation s'approprie les résultats empiriques. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs. L'analyse des parties prenantes est donc essentielle pour comprendre l'intérêt, l'influence et la catégorie des parties prenantes afin de mieux les aider à utiliser les évaluations.

Leçons tirées de la pratique des audits : Le feedback/réponse de la direction peut-il être utile ?

Doit-on attendre un retour d'information de la part des utilisateurs de l'évaluation ? Généralement, les projets de rapports d'évaluation sont partagés avec les responsables de la mise en œuvre pour examen et approbation. Dans le domaine de l'audit, le retour d'information est obligatoire dans un court laps de temps, de la part du client qui doit répondre aux observations de l'auditeur, tant positivement que négativement. Peut-être, comme mentionné ailleurs, le fait de travailler avec les utilisateurs des preuves générées par une évaluation sous la forme de résultats et de conclusions afin de formuler des recommandations exploitables peut servir de retour d'information/réponse de la direction. Cependant, la communication et la relation doivent être gérées avec soin afin que l'évaluation ne soit pas perçue comme un travail d'audit tout comme, dans certains cas, elle est perçue comme du "maintien de l'ordre".

Le suivi des actions

Un suivi d'action (en MS Excel ou tout autre format) peut être utilisé pour suivre dans le temps la mise en œuvre des recommandations. Simplifier le rapport d'évaluation dans un langage et un format adaptés au public, tels qu'une note de politique générale de deux pages, une note d'évaluation et une brochure d'évaluation, en fonction des thèmes spécifiques qui ont émergé de l'évaluation, est une pratique relativement utile pour deux raisons :
- Les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques.
- L'équipe de mise en œuvre dispose d'un espace pour aligner ses voix et ses connaissances sur les résultats de l'évaluation.
- La fin d'une évaluation n'est pas, et ne devrait pas être, la fin de l'évaluation, d'où la nécessité pour les institutions de suivre la façon dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, la prise de décision ou de politique, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

Création d'alliances et de relations pour l'utilisation des preuves

Généralement, il existe des sous-groupes ou des équipes techniques et politiques. Dans certaines situations, les équipes techniques relèvent d'une équipe administrative qui assure l'interface avec la politique. Les évaluateurs travaillent souvent avec l'équipe technique et n'ont pas forcément accès aux autres équipes. Les parties rapport et recommandation sont banales, quel que soit le processus dans lequel elles sont faites. La question préoccupante est le délai entre la soumission du rapport et les actions politiques dans les pays en développement. L'institutionnalisation de l'utilisation des données probantes est essentielle pour renforcer l'utilisation et l'influence des évaluations, mais elle peut prendre du temps, en particulier les changements structurels (approche descendante). Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Cependant, il est également très utile de prendre des mesures modestes mais sûres pour initier des changements à partir de la base, comme la création de petites alliances et de relations pour l'utilisation des données probantes, l'intégration progressive de parties prenantes plus "influentes" et la mise en évidence des avantages des données probantes et de leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

Évaluations en temps réel

L'évaluation doit être rapide et opportune à l'ère des pandémies et des situations de crise. Nous devons "communiquer tout le temps". L'actualité est l'une des dimensions de la qualité des données. L'actualité reflète le temps qui s'écoule entre la disponibilité des données et les événements ou phénomènes qu'elles décrivent. La notion d'actualité est évaluée sur la période de temps qui permet à l'information d'avoir de la valeur et d'être encore exploitée. Les évaluations doivent être opportunes pour qu'elles aient de la valeur et qu'on y donne suite.

Au-delà de l'utilisation des preuves

La raison ultime de l'évaluation est de contribuer à l'amélioration ou à l'impact social. Cela inclut, mais en même temps va au-delà de la simple utilisation des résultats de l'évaluation pour changer les politiques ou les programmes. De cette façon, l'utilisation de l'évaluation en soi cesse d'être l'objectif final des évaluations, puisqu'elle vise des changements qui favorisent l'amélioration de la vie des gens. Démontrer comment une évaluation contribue à l'amélioration ou à l'impact socio-économique peut renforcer la valeur, l'influence et l'utilisation des évaluations.
 

Gordon Wanzare

Dear Isha, Silva, Dorothy, and all,

Great to hear the same frustration and aspiration for evaluation, use and influence.

I was drawing a session at Asian Evaluation Week, happening this week, and the topic clear to me was real time evaluation. Evaluation needs to be rapid and timely in the age of pandemic. We need to 'communicate all the time' Please find a drawing attached.

If you haven't signed up, please join EvlauVision linkedin group. It has about 100 members, but the group discussion is still quiet. I really  need your active participation to  stir up the network who want to bring visual thinking to the evaluation, leading to action, not for learning for the sake of learning, but to make better decisions and apply.

https://www.linkedin.com/groups/13949912/

And tomorrow, Sept 8, from 11:00 a.m. - 12:00 n.n (Manila time), EvaluVision will featured at Asian Evaluation Week. Please register at https://adb.eventsair.com/aew/ The learning session starts at 9:00 a.m.

Cheers,

Keisuke

Bonjour à tous.

Je suis vérificateur de projets techniques complexes pour une entreprise italienne, et je suis depuis longtemps très intéressé par l'évaluation des projets sociaux et techniques internationaux.

En lisant les emails, je vois que l'on parle beaucoup de la longueur des rapports et de la meilleure façon de les rendre facilement compréhensibles.

Ce que je n'ai pas bien compris, c'est si un retour d'information est attendu.

Dans les rapports d'audit que je produis pour mon entreprise, il y a un retour obligatoire dans un délai court, de la part du client qui doit répondre à mes observations de manière positive ou négative.

La réponse permet d'améliorer mon travail et celui du client pour résoudre le problème.

Je vous demande si cela se produit également dans vos rapports d'évaluation.

Merci

Mauro Fianco

Chère Isha et tous

Bien dit. Je suis d'accord. Avec tous les nouveaux outils que nous avons entre les mains, l'évaluation peut être plus dynamique, moins bureaucratique et finalement plus utile !

Bien à vous

Dorothy

Chers tous,

Je suis d'accord avec Silva, les rapports d'évaluation sont très bureaucratiques. Même si les gens ne lisent pas, le fait d'avoir un gros rapport donne l'impression d'un "travail bien fait". 

Mais très peu le liront en entier, voire pas du tout, ils ne liront peut-être que la page du résumé. 

Les exigences en matière de rapports d'évaluation devraient figurer dans les termes de référence, mais malheureusement, ces derniers sont très peu informatifs et manquent d'innovation ou de vision. Je devrais dire que souvent il s'agit de copier-coller. 

L'évaluation n'a pas beaucoup changé sur les aspects ci-dessus. 

Meilleures salutations 

Isha

Oh, bien joué !

C'est formidable de voir que l'on reconnaît la valeur des images et des éléments visuels.
Les documents que vous avez partagés sont vraiment utiles et inspirants, merci.

En tant que personne qui pense visuellement et en images, j'ai toujours essayé de résumer les résultats d'une manière plus visuelle.
Les graphiques, les dessins et les multimédias sont considérés comme "agréables" et cool. Tout le monde les aime et pense qu'ils sont utiles.

Mais, devinez quoi ? Je dois ensuite produire un rapport normal, car c'est ce que veulent les donateurs.
Les visuels doivent donc être réalisés en marge. Bien sûr, c'est gratuit.

Le temps consacré aux rapports est déjà généralement insuffisant dans un cabinet de conseil, donc si vous voulez prouver que les visuels ou d'autres médias sont meilleurs, vous devez essentiellement travailler gratuitement.
Car, à la fin de la journée, vous devrez toujours rédiger le rapport approprié.

En résumé ?

Tant que les évaluations ne seront pas principalement perçues comme des exigences et des rapports bureaucratiques... nous passerons à côté de possibilités fantastiques de mieux apprendre.
Et aussi, d'impliquer des personnes qui pourraient avoir de fantastiques capacités d'apprentissage, d'analyse, de communication, mais qui ne sont pas des rédacteurs de rapports.
Il est regrettable que nous supposions que la seule "rédaction de rapports" soit la meilleure façon de saisir et de transmettre des preuves et des idées...

Cher Gordon et collègues,

Communiquer les résultats d'une évaluation de manière concise, compréhensible et significative est un défi. Combien de personnes lisent réellement un rapport de 150 pages ?

Le PAM des Nations Unies dans la région Asie-Pacifique tente de résoudre ce problème en combinant l'évaluation avec la facilitation visuelle. Cette méthodologie s'appelle EvaluVision.

La vidéo explicative de 3 minutes et le livre électronique vous donnent une idée de la manière d'utiliser la visualisation et la technique de facilitation pour concevoir, valider et diffuser l'évaluation. Il y a plus de vidéos et d'études de cas dans l'e-book.

La semaine prochaine, le 8 septembre de 9h00 à 12h00 (heure de Manille), nous présenterons EvaluVision dans le cadre de la session d'apprentissage organisée par la BAD et le PAM "Engager pour communiquer : Analyse des parties prenantes pour la communication des évaluations" pendant la Semaine asiatique de l'évaluation. La session d'apprentissage aura lieu de 9h00 à 12h00, mais EvaluVision sera présenté de 11h00 à 12h00. Pour plus d'informations, veuillez consulter le site de l'AEW . J'ai également joint l'e-flyer.

Nous avons besoin d'une pensée à la fois littérale et visuelle pour utiliser l'évaluation.

Chers tous, je suis totalement d'accord avec vos commentaires. La raison ultime de l'évaluation est de contribuer à une amélioration ou à un impact social. Cela inclut, mais en même temps va au-delà de la simple utilisation des résultats de l'évaluation qui modifient les politiques ou les programmes. De cette façon, l'utilisation de l'évaluation en soi cesse d'être son objectif final, puisqu'elle vise des changements qui favorisent l'amélioration de la vie des gens.

C'est ainsi que nous avons compris l'évaluation pour identifier sept histoires d'évaluation qui font la différence en Amérique latine. Nous avons publié ces histoires dans le livre "Leaving a Footprint", édité par Pablo Rodriguez Bilella et moi-même, disponible gratuitement en espagnol et en anglais. Vous pouvez accéder à la bande-annonce du livre ici. Le livre illustre comment l'évaluation elle-même a le potentiel de produire un impact positif dans la vie des gens.

L'illustration suivante résume l'idée principale de ces sept expériences.

Y a-t-il une chance que nous puissions arrêter de penser qu'une évaluation est... un rapport ?

Tant de possibilités seraient débloquées.

Chers Jean et Dr Rama Rao,

Merci pour cet échange d'expérience précis et très instructif, notamment en ce qui concerne la réponse de la direction à une évaluation.
J'aime beaucoup l'affirmation, pourtant évidente, selon laquelle "la fin d'une évaluation n'est pas la fin de l'évaluation". Formulée de cette façon, elle peut soutenir les efforts visant à organiser les processus de suivi des recommandations.
Je m'inspirerai de vos " deux sous " pour améliorer notre propre organisation dans ce domaine.

Dans l'attente, je vous prie d'agréer l'expression de mes sentiments distingués,

Anne-Pierre MINGELBIER

Head of Evaluation Unit

RBM Change Program Coordinator

Chers Jean, Gordon et autres,

Merci pour cet excellent sujet de discussion. Malheureusement, vous avez raison de soulever ces questions.
J'ai souvent vu des rapports d'évaluation volumineux, avec trop de choses à lire et un grand écart entre les conclusions et les recommandations.

En écrivant trop de pages, le lecteur s'ennuie, lit des choses qu'il connaît déjà ou cherche à aller droit au but.

Ma recommandation est de rester simple.

1. faire une page exécutive de moins de 4 pages (écriture recto-verso), en mettant l'accent sur les résultats, la conclusion et les recommandations basées sur les résultats.

2. faire un résumé de moins de 10 pages, avec plus de tableaux, de diagrammes et de conclusions par points.

3. le rapport complet doit faire 50 pages.

Meilleures salutations

Isha

Cher Jean,

Merci pour ce résumé concis des expériences et des préoccupations des évaluateurs. Vous avez partagé les points de vue articulés et non-articulés de la plupart des évaluateurs. La pratique consistant à donner de l'espace aux concepteurs de recommandations et aux responsables de la mise en œuvre est un apprentissage. Dans la pratique, les évaluateurs ont besoin d'un rapport complet de 100 à 200 pages pour exposer les faits. C'est à la fois scientifique et éthique. La version courte avec une série de recommandations est faite selon les objectifs de l'étude (idéal) et les besoins exprimés par le bailleur - le sponsor. Il se passe beaucoup de choses entre les deux. En tant qu'évaluateur, le rapport global, que quelqu'un l'utilise ou non, satisfait le besoin scientifique des évaluateurs.   

Quelques réflexions sur le rôle des bailleurs. En réalité, le rapport de l'évaluateur, qui contient des recommandations, est évalué par les bailleurs, qui ne retiennent que quelques recommandations compatibles ou prioritaires. C'est un processus naturel. 

La partie la plus difficile est de faire face aux attentes des sous-groupes des bailleurs. En général, il existe des sous-groupes ou des équipes techniques et politiques. Dans certaines situations, les équipes techniques rendent compte à une équipe administrative qui assure l'interface avec la politique. Nous travaillons souvent avec l'équipe technique et n'avons pas forcément accès aux autres équipes. Les équipes techniques changent à leur tour leurs attentes en fonction des attentes des systèmes administratifs/politiques concernant une politique ou un changement de politique. Il s'agit d'un sujet sensible qui évolue peut-être rapidement avec le temps, bien plus rapidement que le temps de l'évaluation. C'est là où se trouve point crucial. Les parties relatives au rapport et aux recommandations sont insignifiantes, quel que soit le processus dans lequel elles sont faites. La question préoccupante est le délai entre la soumission du rapport et les actions politiques dans les pays en développement.   

Salutations,

Dr D Rama Rao
Ancien directeur, ICAR-NAARM, Hyderabad
Ancien ND, NAIP & DDG (Engg), ICAR, New Delhi
Mobile:+91 9441273700

Cher Jean, 

Je profite de cette occasion pour vous remercier. La plupart des pays en développement échouent parce que les évaluateurs font très bien leur travail, mais lorsqu'il s'agit de partager l'information avec les décideurs et d'autres parties prenantes importantes pour que les recommandations soient suivies d'effet, nous laissons les rapports sur les étagères.

Mais aujourd'hui, j'ai beaucoup appris de vous et je vous remercie pour vos bons conseils. C'est la voie à suivre.

Cher Gordon et collègues,

Avant de partager mon point de vue, prenons l'exemple d'une expérience vécue. Avec une équipe de 4 évaluateurs, j'ai participé à l'évaluation d'un projet de cinq ans. En tant qu'évaluateurs, quelques collègues ont co-conçu l'évaluation et collecté les données. Nous avons uni nos forces lors de l'analyse et de l'élaboration du rapport et nous nous sommes retrouvés avec un gros rapport d'environ 180 pages. Je n'ai jamais connu d'adeptes de gros rapports, je ne le suis pas non plus. Pour être honnête, très peu de gens prendraient le temps de lire d'énormes rapports d'évaluation. Si un évaluateur est moins susceptible de lire (une fois finalisé) un rapport qu'il a produit, qui d'autre le lira ? Passons aux recommandations. Au stade du rapport, nous avons souligné les changements (ou l'absence de changements) ; nous avons signalé les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. Nous avons laissé le soin à l'équipe de mise en œuvre du projet, qui a fait appel à un responsable politique, de rédiger conjointement des recommandations exploitables. Comme vous pouvez le constater, nous avons intentionnellement évité la pratique établie selon laquelle les évaluateurs rédigent toujours des recommandations.

Notre rôle était de veiller à ce que toutes les conclusions ou résultats importants soient traduits en recommandations exploitables. Nous avons soutenu l'équipe de mise en œuvre du projet pour qu'elle reste aussi proche que possible des preuves et des idées de l'évaluation. Comment mettriez-vous à l'échelle un projet qui a produit ce changement (pour les résultats positifs) ? Que feriez-vous différemment pour atteindre le changement souhaité sur ce type d'indicateurs (domaines à améliorer) ? Attention, je n'utilise pas le mot "négatif" à côté des résultats. Comment vous y prendriez-vous pour obtenir les résultats souhaités ? Ces questions ont permis d'aboutir à des recommandations concrètes.

Nous avons veillé au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. En fin de compte, l'équipe était propriétaire des recommandations tandis que l'équipe d'évaluation était propriétaire des résultats empiriques. Les résultats de l'évaluation ont éclairé chaque recommandation. Dans l'ensemble, il s'agissait d'un rapport d'évaluation produit conjointement. C'est quelque chose que nous avons fait pour cette évaluation et qui s'est avéré efficace dans d'autres évaluations. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs.

Dans mon autre vie d'évaluateur, ces recommandations sont regroupées dans un suivi d'action - Action Tracker -  (en MS Excel ou tout autre format) afin de contrôler au fil du temps la manière dont elles sont mises en œuvre. C'est la pratique en vigueur dans les institutions qui sont très attachées à la responsabilité et à l'apprentissage ou qui demandent des comptes à leur personnel et aux projets qui ne respectent pas ces normes. Pour chaque recommandation, il y a un calendrier, la personne ou le service responsable, le statut (mis en œuvre, non mis en œuvre ou en cours) et la voie à suivre . Notez que l'une des recommandations concerne le partage et l'utilisation des résultats de l'évaluation, ce qui nécessite un travail supplémentaire après la rédaction du rapport d'évaluation. Simplifier le rapport dans un langage et un format adaptés au public, inspiré des notes politiques de deux pages, une note d'évaluation ou une brochure d'évaluation basée sur des thèmes spécifiques qui ont émergé de l'évaluation. J'ai vu une telle pratique relativement utile pour deux raisons :

(i) les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques

(ii) l'équipe de mise en œuvre dispose d'une opportunité pour aligner ses voix et ses connaissances de l'évaluation sur les résultats de l'évaluation.

(iii) la fin d'une évaluation n'est pas, et ne devrait pas être la finalisation de l'évaluation, d'où la nécessité pour les institutions de suivre la manière dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, des prises de décision ou des politiques, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

L'institutionnalisation de l'utilisation des données de l'évaluation prend du temps. Les changements structurels (au niveau supérieur) ne se produisent pas du jour au lendemain et ne surgissent pas du néant, mais il existe des étapes modestes mais sûres pour initier des changements à partir de la base. Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Sinon, ne supposez pas, utilisez les faits et la culture de l'organisation. Créez de petites alliances et relations en faveur de l'utilisation des données probantes, et intégrez progressivement des parties prenantes plus "influentes". Mettez en évidence les avantages des données probantes et leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

Voilà ma contribition à cette discussion.

Je laisse la parole à mes collègues pour qu'ils apportent leurs contributions et leurs commentaires à cette importante discussion.

Jean Providence