Évaluations de l'évaluabilité : Une invitation à la réflexion et à la discussion

Chers collègues et membres,

Je vous présente ma contribution.

À ma connaissance et selon ma compréhension, je pense que c'est une manière plus proactive et plus rapide d'atteindre les Objectifs de Développement Durable. En examinant l'ordre existant des programmes ou projets, son dynamisme contribue à éliminer les goulots d'étranglement associés à la gestion de programmes ou de projets en servant de soutien aux programmes/projets en matière de gestion de données et d'évaluation.

Il s'agit d'un mécanisme de redirection pour les lieux de travail et la main-d'œuvre des programmes/projets qui aide à concrétiser et à faciliter les objectifs. Son efficacité et son efficience systématiques dans le secteur de la gestion de programmes et de projets sont une force. Cependant ;

• Elle contribue à combler le fossé initial qui aurait pu être créé par les collègues et à les réorienter vers les objectifs et les objectifs du programme/projet.
• Elle modifie le déroulement et les résultats des programmes/projets pour améliorer le financement et la participation des parties prenantes.
• Elle apporte visibilité, clarté et approches et mécanismes d'action plus rapides pour la livraison.
• Elle sert de centre de gestion de l'information et d'intégration des programmes/projets existants en ligne avec les objectifs et les buts des bailleurs de fonds et des parties prenantes.

Expérimentalement, tant les organisations que les nations peuvent pratiquer avec succès ce soutien aux évaluations pour les décideurs politiques et la mise en œuvre des programmes. Invariablement, c'est une force pour la dynamique et la livraison de la gestion de programmes/projets dans l'industrie et la société.

Merci.

Esosa

Merci à tous pour ce dialogue intéressant et engageant sur les évaluations de l'évaluabilité. Nous vous invitons à revenir bientôt pour consulter un excellent résumé de notre discussion, rédigé par Gaia Gullotta du CGIAR. Il sera disponible en anglais, en espagnol et en français.

À votre santé ! 

Au risque non négligeable de créer une conceptualisation trop rigide, je suggère qu'il pourrait être utile de poser ces questions lorsqu'on examine la pertinence d'une évaluation de l'évaluabilité (EE) :
1. Contexte institutionnel et physique : dans quelle mesure les lieux sont-ils nombreux et diversifiés ?
2. Conception de l'intervention :  dans quelle mesure les interventions sont-elles nombreuses et diverses, ainsi que leurs interconnexions ?
3. Demande des parties prenantes : dans quelle mesure les bailleurs de fonds, les partenaires de mise en œuvre et les groupes bénéficiaires sont-ils nombreux et diversifiés, ainsi que leurs interconnexions ?
4. Disponibilité des données : dans quelle mesure les systèmes de S&E et leurs interconnexions sont-ils nombreux et diversifiés ?

Merci Amy et les autres pour ce fil de discussion intéressant.

Nous avons participé à de nombreuses évaluations de l'évaluabilité (EE) pour différentes organisations - institutions financières internationales, agences des Nations unies, ONG et secteur privé. Je suis d'accord avec Rick pour dire que c'est la complexité plutôt que la taille de l'investissement qui est la plus importante en termes de valeur de l'EE.  Les institutions dont le mandat et les procédures opérationnelles sont clairs, et qui disposent souvent d'un menu d'indicateurs de performance et de lignes directrices, n'ont généralement pas besoin d'une EE.  

Les évaluations les plus utiles auxquelles nous avons participé concernent des projets de développement complexes dont les résultats escomptés peuvent être émergents, avec des indicateurs de processus ainsi que des indicateurs de résultats et d'extrants. Les EE sont également utiles lorsque les capacités de suivi et d'évaluation de l'équipe de mise en œuvre sont limitées et qu'elle ne sait pas comment mesurer ce qui a été défini dans la conception du projet. Il s'agit alors de la valeur incrémentale de l'EE et de l'investissement dans le rapport coût-bénéfice - deux exemples récents sont présentés ci-dessous.

Dans le premier cas, il s'agissait d'un programme très complexe de gestion des ressources naturelles qui atteignait ses dernières années et qui couvrait les résultats politiques, institutionnels et physiques. L'équipe chargée de la mise en œuvre s'est rendu compte qu'elle ne savait pas comment mesurer tous les résultats finaux - elle avait supposé qu'une équipe d'évaluation d'impact produirait toutes les données requises, mais elle ne disposait pas du budget nécessaire à la collecte de données. Nous avons réalisé une EE (très tardive) et constaté que l'équipe devait reconstituer une série de données brutes de mise en œuvre pour permettre le suivi des résultats - un travail énorme.  Si l'équipe avait procédé à une EE et à un développement des capacités plus tôt dans le programme, elle aurait été dans une position beaucoup plus forte et les coûts liés à la résolution des problèmes auraient été bien moindres.

Un autre cas est celui d'un projet complexe en faveur de la jeunesse et des peuples autochtones - sur le point d'être lancé - qui nécessitait une approche des indicateurs et des processus de suivi tenant compte des spécificités culturelles.  Cette EE a été réalisée de manière très participative (peu coûteuse) afin d'inciter les participants à enregistrer des données de manière sûre et appropriée pour démontrer les niveaux de progrès et d'apprentissage qui permettraient d'améliorer la conception aux stades ultérieurs de la mise en œuvre. Le coût de l'investissement précoce dans l'EE a permis de récolter d'énormes bénéfices, tant pour les résultats du programme que pour l'évaluation.

J'apprécie également l'idée des nœuds décisionnels permettant de déterminer si une EE est nécessaire ou non. Merci encore pour tous les points soulevés.

Merci beaucoup, Rick, pour vos commentaires. Il serait intéressant d'examiner de telles données historiques sur les ratios passés. Et oui, la taille du budget peut être l'un des éléments d'une liste de contrôle considérée comme une approximation de la complexité, mais je suis d'accord, elle ne devrait pas être la seule à représenter la complexité, pour la raison que vous avez soulignée. Votre suggestion de représenter les nœuds d'un réseau me semble logique. Plus les liens de causalité et les sources de données possibles sont nombreux, plus le score est élevé, ce qui peut alors conduire à une décision « oui » sur une EE.

Une telle liste de contrôle pourrait peut-être aussi aider à cibler une EE, ou inclure un ensemble d'éléments de suivi permettant d'explorer initialement les quatre domaines principaux décrits dans le diagramme en puzzle que vous avez partagé ci-dessous - https://mande.co.uk/wp-content/uploads/2022/05/Austria-diagram.png (contexte institutionnel et physique, conception de l'intervention, demande des parties prenantes et disponibilité des données). Une telle liste de contrôle, si nécessaire, peut alors non seulement guider la décision de réaliser ou non une EE, mais aussi aider à cibler l'EE et ses domaines prioritaires, ce qui en fait un exercice plus rentable et mieux ciblé.

J'aimerais connaître l'avis d'autres membres de ce groupe de discussion qui gèrent des évaluations/EE. Comment décidez-vous dans votre organisation de réaliser ou non une EE ? Et comment les décisions sont-elles prises quant à la manière de cibler une EE ?

Cordialement, Amy

Réponse à l'article d'Amy. 
1. Oui, les EE doivent être proportionnées aux coûts probables d'une évaluation. Je suis tout à fait d'accord. Des recherches historiques sur les ratios antérieurs devraient maintenant être possibles pour nous donner une idée approximative de la fourchette et de la médiane des valeurs.
2. Oui, une liste de contrôle concernant la nécessité d'un EE vaut au moins la peine d'être envisagée. Le commentaire selon lequel « certaines agences des Nations unies ont développé une approche consistant à rendre les EE obligatoires pour les programmes dont le budget est supérieur à un certain montant » est une indication en ce sens. Mais il ne s'agit pas d'une corrélation directe. Un grand programme simple peut ne pas nécessiter d'EE, c'est-à-dire un programme dont les objectifs et les interventions sont simples et clairs. Un programme d'immunisation correspondrait-il à cette description ?  Mais en règle générale, je pense que les programmes à gros budget ont tendance à être plus complexes en termes d'objectifs, d'interventions, de partenaires et de parties prenantes et de situations géographiques. Considérons ces éléments comme les nœuds d'un réseau : plus ils sont nombreux, plus les liens de causalité possibles et réels sont nombreux, tout comme les types et les sources d'information sur ce qui se passe. Si une liste de contrôle des besoins de l'EE doit être élaborée, peut-être ces sources de complexité pourraient-elles être prises en considération ?

Merci à tous pour votre participation. Le pour et le contre des évaluations de l'évaluabilité (EE) ont fait l'objet de nombreuses réflexions, avec des points de vue très tranchés de part et d'autre du débat. En tant que groupe, nous avons des expériences variées en matière d'EE, certains d'entre nous ayant mis en œuvre des EE, d'autres non, et certains d'entre nous ayant lu des rapports, d'autres non. Et nous avons des points de vue très différents, allant de la perception de ces évaluations comme une utilisation non nécessaire de ressources limitées en matière de suivi et d'évaluation à l'identification d'avantages spécifiques pour leur utilisation dans la planification et l'optimisation des résultats d'une évaluation.

Nous conclurons cette discussion d'ici le 10 septembre. D'ici là, j'aimerais vous inviter à réfléchir davantage sur la question de savoir quand mettre en œuvre une évaluation de l'évaluabilité et quand ne pas le faire - la question du coût-bénéfice et de l'avantage perçu par les parties prenantes, en rapport avec les questions 1 et 2 ci-dessus. Je dirais que les EE doivent être proportionnelles au coût d'une évaluation ultérieure, à la fois pour une bonne utilisation des ressources financières et pour assurer l'adhésion des parties prenantes. Quelqu'un a-t-il des idées à apporter à ce sujet, à la fois en termes de proportions réelles et/ou de politique organisationnelle en matière d'EE sur le moment et la manière dont elles devraient être mises en œuvre ? Je connais certaines agences des Nations Unies qui ont développé une approche visant à rendre les EE obligatoires pour les programmes dont les budgets dépassent un certain montant. Il me semble qu'en plus d'une liste de contrôle pour la mise en œuvre d'une EE, qui fournit des concepts importants sur lesquels réfléchir et se pencher, une liste de contrôle pour savoir s'il faut mettre en œuvre une EE pourrait également être utile en fournissant des éléments à prendre en compte pour décider si une EE est applicable et/ou faisable.

Meilleures salutations, Amy

Chère Jackie,

Merci pour votre message. Notre liste de contrôle est disponible à la page 20 des lignes directrices Conducting and Using Evaluability Assessments in CGIAR : CGIAR Evaluation Guidelines | IAES | CGIAR Independent Advisory and Evaluation Services (en anglais). Il y a 14 questions de base sur un total de 40. Le document est également disponible en espagnol.

Meilleures salutations,

Gaia Gullotta

Chère Amy,

Tout d'abord, je tiens à vous remercier d'avoir initié cette réflexion et cette discussion sur un sujet aussi pertinent que les évaluations d'évaluabilité (EE).

J'ai eu l'opportunité de participer à plusieurs évaluations d'évaluabilité (EE), notamment celles récemment menées par le CGIAR, ainsi qu'à d'autres concernant le travail de la FAO sur le Genre et son objectif stratégique de réduction de la pauvreté rurale. Ces expériences variées m'ont convaincu de la grande valeur des EE, surtout lorsqu'il s'agit d'aborder des thématiques complexes.

Dans ces contextes où le périmètre de l'évaluation est souvent flou, le processus d'EE s'avère essentiel. Il permet de cartographier les interventions clés, encourageant ainsi une réflexion évaluative précoce au sein de l'équipe chargée du programme. De plus, il offre un test concret de la théorie du changement, du cadre de résultats et des outils de suivi et d'évaluation, mettant en lumière d'éventuelles lacunes dans les ressources dédiées, y compris le budget alloué à l'évaluation elle-même.

Réaliser des EE en amont du cycle d'intervention s'est révélé particulièrement judicieux. Cette démarche favorise une pause réflexive dès les premières phases de mise en œuvre, permettant de proposer des ajustements et des améliorations avant que le programme ne soit trop avancé. Cela peut potentiellement générer des économies de ressources et accroître les chances de succès.

Par ailleurs, le processus d'EE offre une excellente occasion de réexaminer et d'affiner la théorie du changement et le cadre de résultats, en les alignant sur les réalités du terrain et les contraintes budgétaires. Cette démarche garantit que l'évaluation demeure pertinente et réalisable tout au long de la mise en œuvre du programme.

Enfin, l'EE facilite l'établissement d'une relation précoce entre le bureau d'évaluation et les responsables de la mise en œuvre du programme, favorisant ainsi une collaboration et une communication fluides tout au long de l'évaluation. Les EE aident également à déterminer le moment opportun pour l'évaluation et le type d'évaluation le mieux adapté à l'intervention.

En somme, mon expérience avec les EE, tant au sein du CGIAR que d'autres organisations, souligne leur rôle crucial pour clarifier le champ de l'évaluation, renforcer la conception du programme et garantir la disponibilité des ressources nécessaires à une évaluation efficace. Elles encouragent une collaboration précoce entre les parties prenantes et contribuent à définir le calendrier et la nature de l'évaluation, assurant ainsi sa pertinence et son adéquation au contexte de l'intervention.

Chère Amy,

Je tiens tout d'abord à vous remercier pour avoir initié cette réflexion et discussion sur un sujet aussi pertinent que les évaluations de l'évaluabilité (EE). Votre invitation à explorer ce thème a suscité une profonde réflexion de ma part.

Les évaluations de l’évaluabilité représentent un outil puissant pour garantir la qualité et l’utilité des évaluations. Elles aident à clarifier les attentes, à identifier les défis potentiels, et à s’assurer que les interventions sont conçues de manière à permettre une évaluation rigoureuse et constructive. Pour maximiser leur impact, je pense qu' il serait crucial d’améliorer la communication sur leur valeur ajoutée, de former les parties prenantes à leur utilité, et de garantir leur intégration systématique dans la planification des interventions, en particulier celles liées aux ODD. Ce faisant, les EE peuvent contribuer de manière significative à l’amélioration continue des programmes de développement et à l’atteinte des résultats escomptés.

Je suis impatient de lire les réflexions des autres membres de la communauté sur ce sujet.

Cordialement,

Jonas SAGNO

Sociologue & Directeur des Programmes et Mobilisation des Ressources chez l'ONG Gigantesq Connexion(Incubateur & Accélérateur de Projets axés sur le Développement Durable)

Chers collègues,

Je viens participer au débat. L'évaluabilité d'un projet de développement est d'office établie par la qualité de l'objectif spécifique et des résultats attendus du projet. La clarté et la précision à ces deux niveaux justifie ipso faco l'évaluabilité du projet. Tout dépend donc du montage du projet. Et de ce fait, l'évaluation spéciale de l'évaluabilité n'est pas nécessaire. Avec un objectif spécifique SMART et des résultats attendus, tous porteurs d'indicateurs clairs et mesurables, l'évaluabilité du projet est garantie. Le reste dépendra de la planification et de la mise en œuvre du suivi-évaluation. Du point de vue financier, il n'est pas pertinent d'investir encore des resources dans l'évaluation de l'évaluabilité vu que le financement du suivi-évaluation a souvent été un grand défi. Il faudrait donc mobiliser les ressources pour la mise en œuvre effective et efficace du suivi-évaluation du projet.

Merci.

Chers collègues experts en évaluation. Je souscris pleinement à l'idée qu'il est important de procéder à une analyse de l'évaluabilité, qui est fondamentale non seulement pour la planification et le suivi de l'évaluation, mais aussi et surtout pour projeter la portée que l'évaluation pourrait avoir et pour gérer les attentes des parties prenantes. À la suite d'une évaluation, il a été suggéré d'adopter des mesures d'évaluabilité pour le suivi du projet et de garantir les conditions d'une évaluation externe, en particulier. Ainsi, la distinction entre évaluation de l'évaluabilité et exercices d'évaluation interne et externe peut être facilitée, en renforçant les mécanismes permettant de réaliser la première et de préparer la seconde.

Dans le cas mentionné ci-dessus, tous les critères inclus dans la conception de l'instrument de mesure de l'évaluabilité du projet n'étaient pas disponibles, ce qui a donné lieu à des divergences d'opinion concernant l'évaluation prévue entre les parties prenantes, en particulier entre le bailleur de fonds et l'évalué. Des accords ont été conclus par voie de médiation, ce qui a permis de poursuivre le processus d'évaluation.

Le projet évalué a été financé par des agences multilatérales, donc oui, il est possible d'utiliser les résultats de l'EE dans une évaluation et les deux se complètent mutuellement pour mesurer les contributions aux ODD.

Bonjour à tous,

Je suis d'accord avec l'argument selon lequel l'application rigide d'un outil, quel qu'il soit, n'aboutit probablement pas à un résultat positif. Il peut s'agir de l'application rigide des théories du changement, une approche surutilisée qui est devenue synonyme de « faire » de l'évaluation, mais qui n'est toujours pas utilisée de manière optimale dans la plupart des rapports d'évaluation que je lis. Ou encore la survalorisation des essais contrôlés randomisés (ECR) sur la base d'intérêts idéologiques. Ou encore l'application rigide des critères du CAD de l'OCDE sur la base d'un paradigme attendu. Il existe des voies d'accès attendues à la « connaissance » dans notre domaine qui contribuent à cette rigidité, en particulier lorsqu'elles sont appliquées de manière mécaniste, et leur surutilisation peut en effet perpétuer la nature bureaucratique de nos systèmes établis. Je suis entièrement d'accord avec les points soulevés par Dahler-Larsen et Raimondo à Copenhague, il y a plusieurs années, lors de la conférence EES.

Cependant, je dirais également que tout outil, tel qu'une évaluation de l'évaluabilité, ne devrait pas être rejeté sur la base de cet argument. Je pense qu'il serait plus utile de réfléchir au moment et à la manière dont les évaluations de l'évaluabilité pourraient être les plus utiles. D'après mon expérience, les évaluations de l'évaluabilité peuvent en effet être un outil permettant de rompre avec l'évaluation mécaniste et les systèmes bureaucratiques - et oui, une tentative de rompre la domination de l'évaluation par la direction - en définissant mieux un objectif significatif et utile pour une évaluation. Ou encore la décision de ne pas procéder à une évaluation sur la base de ses conclusions. Je pense que le défi se situe au niveau de l'organisation, avec l'intérêt inévitable de normaliser et de créer des normes pour son utilisation dans des réalités complexes.

Cordialement, Amy

J'interviens simplement, comme Silva, pour féliciter Musta d'avoir soulevé un point aussi important. La valeur marginale apparente et les coûts d'opportunité élevés des évaluations environnementales.

Lors de la conférence de la Société européenne d'évaluation de 2022, le discours d'Estelle Raimondo et de Peter Dahler-Larsen a été frappant. Ils ont présenté une analyse intéressante sur l'application indiscriminée et les rendements décroissants de la pratique du retard par son utilisation « performative ».  La capture bureaucratique.

Certains affirment que les évaluations de l'évaluabilité sont le moindre des soucis de la communauté de l'évaluation d'aujourd'hui.

La référence à la façon dont « ....parfois, les agences peuvent réduire le risque de réputation et tirer leur légitimité de l'existence d'un système d'évaluation plutôt que de son utilisation » rappelle l'analogie faite en 1903 par le célèbre classiciste et poète AE Housman :

« ...les gentlemen qui utilisent des manuscrits comme les alcooliques utilisent des lampadaires, non pas pour les éclairer sur leur chemin mais pour dissimuler leur instabilité ».

Standing ovation, Musa. Je suis tout à fait d'accord avec vous.

Aujourd'hui, la plupart des projets sont déjà très structurés et intègrent tous les éléments que vous avez mentionnés, au point de les enfermer dans une camisole de force (mais c'est un débat pour un autre jour !).

Si des problèmes importants continuent d'apparaître malgré ces investissements considérables en matière de suivi et d'évaluation, peut-être devrions-nous réévaluer nos approches en matière de gestion et de suivi et d'évaluation plutôt que d'introduire encore un autre processus externe.

Permettez-moi de réitérer mon point de vue : les ressources consacrées aux processus d'évaluabilité - qui ne font que révéler des lacunes qui devraient déjà être apparentes - ne constituent pas l'utilisation la plus efficace de nos ressources limitées en matière d'évaluation. Un meilleur investissement consisterait à renforcer les capacités organisationnelles et à localiser les efforts d'évaluation, plutôt que de payer continuellement des consultants externes.

Ou, au lieu d'investir perpétuellement dans des processus qui nous enferment davantage dans les mêmes cadres, nous pourrions utiliser les ressources pour nous assurer que les évaluations et les processus d'évaluation sont adaptés, significatifs et localisés - et pas seulement des exercices de « copier-coller » recyclant les mêmes TdR encore et encore.

---

POINT DE BONUS : une touche d'intelligence artificielle (IA) :

J'ai demandé à l'IA de prendre la position d'un partisan de l'évaluation de l'évaluabilité et de critiquer ma réponse. Vous savez quoi ? Je vois les points de la réponse générée par l'IA et je suis conscient que les partisans de l'évaluation sont motivés par des aspirations fortes et authentiques. Cependant, je vois aussi à quel point ils sont ambitieux. La réalité, telle qu'elle est apparue dans certains messages de cette conversation, est que l'évaluation de l'évaluabilité risque de devenir une nouvelle couche de bureaucratie ou de contrôles étroits plutôt que l'outil de transformation auquel elle aspire. Et elle est susceptible d'impliquer des actions à court terme menées par des consultants externes. L'investissement dans l'engagement, la capacité et le soutien qu'impliquerait cette approche ambitieuse ne sera probablement pas au rendez-vous : si les projets ne sont pas évaluables, il n'y a pas souvent de solution rapide pour les rendre tels.  Appelez-moi pessimiste, mais je reste sceptique. Et j'ai beaucoup d'idées sur la manière dont l'argent pourrait être dépensé à la place.

[Ci-dessous la réponse de l'IA]

« Bien que je comprenne les préoccupations soulevées au sujet de la redondance potentielle des évaluations de l'évaluabilité (EE) dans des projets bien structurés, je pense qu'il est important de considérer la valeur unique que l'EE apporte à la table - au-delà du simple fait de combler les lacunes dans les cadres de S&E existants.

Tout d'abord, l'évaluation environnementale est plus qu'une simple liste de contrôle ou un audit de ce qui devrait déjà être en place ; elle permet de tester rigoureusement la logique et la faisabilité d'un projet avant que des ressources importantes ne soient dépensées. Même avec un cadre logique et un cadre de suivi et d'évaluation solides, les projets peuvent parfois ne pas tenir compte d'hypothèses essentielles ou négliger des risques potentiels qui ne deviennent apparents que dans le cadre d'un processus d'évaluabilité spécifique. L'évaluation environnementale offre une protection, garantissant que les projets sont réellement prêts pour l'évaluation et que les données collectées seront significatives et exploitables.

En outre, s'il est vrai que la plupart des projets sont aujourd'hui très structurés, la complexité et l'ampleur de nombreuses interventions signifient que des lacunes peuvent encore apparaître malgré les plans les mieux conçus. L'évaluation environnementale permet un examen ciblé de ces lacunes potentielles, offrant une approche proactive de la résolution des problèmes plutôt que d'attendre qu'ils surviennent au cours de la phase d'évaluation. Cette attitude proactive permet en fin de compte d'économiser du temps et des ressources en identifiant et en traitant les problèmes dès le début, plutôt que de se précipiter pour les résoudre après coup.

Tout d'abord, l'évaluation de l'évaluabilité est plus qu'une simple liste de contrôle ou un audit de ce qui devrait déjà être en place ; elle permet de tester rigoureusement la logique et la faisabilité d'un projet avant que des ressources importantes ne soient dépensées. Même avec un cadre logique et un cadre de suivi et d'évaluation solides, les projets peuvent parfois ne pas tenir compte d'hypothèses essentielles ou négliger des risques potentiels qui ne deviennent apparents que dans le cadre d'un processus d'évaluabilité spécifique. L'évaluation environnementale offre une protection, garantissant que les projets sont réellement prêts pour l'évaluation et que les données collectées seront significatives et exploitables.

En outre, s'il est vrai que la plupart des projets sont aujourd'hui très structurés, la complexité et l'ampleur de nombreuses interventions signifient que des lacunes peuvent encore apparaître malgré les plans les mieux conçus. L'évaluation de l'évaluabilité permet un examen ciblé de ces lacunes potentielles, offrant une approche proactive de la résolution des problèmes plutôt que d'attendre que ceux-ci surviennent au cours de la phase d'évaluation. Cette attitude proactive permet en fin de compte d'économiser du temps et des ressources en identifiant et en traitant les problèmes dès le début, plutôt que de se précipiter pour les résoudre après coup.

En ce qui concerne l'investissement dans des consultants externes, il convient de noter que l'évaluation de l'évaluabilité peut également être localisée et intégrée dans les capacités existantes des organisations. Plutôt que de considérer l'évaluation environnementale comme un processus externe supplémentaire, elle peut être l'occasion de renforcer les capacités internes et de favoriser une culture d'amélioration continue.

En conclusion, si le renforcement des systèmes de suivi et d'évaluation est incontestablement important, l'évaluation de l'évaluabilité ne doit pas être considérée comme redondante ou inutile. Au contraire, elle doit être considérée comme un investissement stratégique visant à garantir que les évaluations sont efficaces, pertinentes et capables de fournir des informations réelles permettant d'obtenir de meilleurs résultats ».

L'évaluation évaluative - j'ai entendu cela récemment. Bien que je n'aie pas vu de rapport concret d'évaluation de l'évaluabilité (EA), à en juger par ce que j'ai lu, j'ai du mal à accepter l'EA comme une étape importante vers une évaluation crédible. Un programme/projet doté d'un cadre logique solide et d'un cadre de suivi et d'évaluation dans lequel les indicateurs sont clairement définis, avec des méthodes de désagrégation bien définies, des sources de données, des méthodes de collecte et d'analyse des données, etc. toutes définies avant la mise en œuvre. Le projet a mis en œuvre des évaluations de la qualité des données (AQD) tout au long du projet, afin d'être conscient des problèmes de qualité des données, et a pris des mesures pour améliorer la qualité des données. Le projet/programme a mis en œuvre des examens après action (AAR) et d'autres réflexions pour corriger les lacunes.

Au milieu de tout cela, un cadre de suivi et d'évaluation bien défini, un AQD cohérent, etc. Je ne pense pas que l'évaluation de l'évaluabilité soit importante, mais qu'il s'agit d'une manière intelligente de combler les lacunes susceptibles d'être décelées par l'équipe d'évaluation. Je ne pense pas que ce soit la meilleure façon d'utiliser les fonds des donateurs. Je préfère renforcer le système de suivi et d'évaluation qui donnera des résultats et garantira que le projet/programme est évaluable à tout moment, plutôt que de consacrer des ressources à la réalisation d'une évaluation environnementale et d'une évaluation a posteriori. 

Bonjour à tous,

J'ai travaillé en tant qu'analyste de l'évaluation au sein de l'équipe chargée de l'évaluation de l'initiative régionale intégrée. Cette mission m'a permis d'acquérir des connaissances théoriques (définition, utilisation et importance des évaluations de l'évaluabilité) et des expériences pratiques. L'évaluation de l'évaluabilité est définitivement menée pour évaluer si le programme ou le portefeuille est prêt pour les évaluations. Elle est également utilisée pour améliorer les organisations nationales et la théorie du changement du programme, ainsi que le cadre de suivi et d'évaluation. Dans les évaluations, je pense que l'égalité des sexes et l'inclusion sont tout aussi importantes pour apporter des points de données diversifiés. Dans cet exercice d'évaluation de l'évaluabilité, nous avons inclus les taux de participation des hommes et des femmes aux entretiens et aux enquêtes. 

Chère équipe,

             L'évaluation de l'évaluabilité ou de l'état de préparation à l'évaluation concerne davantage la capacité de l'organisation à suivre et à évaluer une intervention. Il s'agit d'évaluer les éléments suivants

1. Bureau de suivi et d'évaluation (S&E) de l'organisation

2. Le personnel de S&E de l'organisation

3. Capacité du personnel de S&E (formation et compétences)

4. Politique et cadre de S&E de l'organisation

5. Connaissance et utilisation du S&E par la direction

Il y a ici 10 points à examiner.

Examiner le type de projet, qu'il s'agisse d'un projet humanitaire ou d'un projet de développement. Je pense que tous les projets devraient faire l'objet d'un suivi et d'une évaluation, mais la question de l'évaluation de l'évaluabilité est la suivante : l'équipe dispose-t-elle de capacités et de processus suffisants pour fournir des évaluations opportunes et utiles ?

Meilleures salutations 

Amy et tous...
Je pense donc qu'il faut faire la différence entre ce qui est évaluable en termes d'objectifs de l'évaluation (le délai d'exposition exclut généralement certains projets parce que nous avons constaté qu'il faut vraiment regarder 3 à 5 ans après la clôture et si cela fait plus de sept ans, c'est difficile à évaluer, et nous avons également constaté que les projets que nous avons mis en œuvre le plus longtemps avaient une plus grande probabilité de durabilité des résultats et des impacts émergents), et nous devons également examiner la qualité des données d'évaluation (par exemple, pas seulement les formations dispensées, mais aussi ce à quoi les participants ont été formés ? Y a-t-il eu un changement de connaissances ou de comportement à la suite de l'évaluation finale? De cette façon, nous pourrons évaluer les changements à court terme). 
L'évaluation de l'évaluabilité dépend donc de l'objectif de l'évaluation, qui diffère de la manière dont nous évaluons. Dans le cas des évaluations ex post, nous voulons nous assurer que les partenaires et les participants sont toujours là pour être interrogés (j'en ai fait une 15 ans plus tard après la clôture en Ouganda et les professeurs qui formaient les enseignants à l'université pédagogique étaient là, mais tout le personnel du ministère avait changé, et les enseignants et les étudiants locaux étaient partis depuis longtemps).

Oui, dans nos évaluations, j'exige moi aussi que nous soyons présents sur le terrain pour évaluer avec les parties prenantes locales, les partenaires aux niveaux national et régional, les villageois, les dirigeants locaux, et tout cela est participatif. 

Oui, nous utilisons des entretiens avec des groupes de discussion, des entretiens avec des informateurs clés, des promenades sur des transects, de nombreux outils participatifs tels que décrits dans cette boîte à outils sur laquelle nous avons travaillé (qui vient d'être publiée, veuillez la commenter : 🔗 https://lnkd.in/gyfu_K_3 🌟 Faites part des vos commentaires et propositions à l'adresse af-terg-sec@adaptation-fund.org).

En ce qui concerne la question des parties prenantes qui créent l'évaluation avec nous : nous avons demandé aux populations locales si elles souhaitaient que nous évaluions leur projet pour leur donner des réponses qu'elles aimeraient apprendre... mais à plusieurs reprises, nous n'avons pas obtenu de réponses. Ils nous regardent plutôt confus car, je pense, ils vivent simplement leur vie et ils voient le projet comme une contribution à leur vie, une parmi d'autres, alors que lorsque nous essayons d'isoler le projet et ses résultats en soi, c'est très étrange pour les gens ;).

J'espère que cela vous aidera !

Jindra Čekan/ová PhD
Www.ValuingVoices.com and Jindracekan.com

Chère Jackie,

C'est une excellente question,

Dans les interventions humanitaires, qu'il s'agisse de la réponse immédiate ou de la réponse rapide de première ligne, lorsque les bénéficiaires se déplacent et ne sont pas susceptibles d'être retrouvés, nous procédons à un questionnaire rapide afin de collecter des données sur place, en vue d'un examen postérieur. De même, dans le cadre des interventions humanitaires à court terme, les enquêtes de suivi post-distribution sont considérées comme une intervention de suivi et d'évaluation suffisamment adéquate pour recueillir le point de vue des participants et garantir la responsabilité vis-à-vis de la population affectée et des aspects liés à la sécurité.

D'aucuns diront que dans ce type d'intervention, nous n'avons pas procédé à une « évaluation de projet » à proprement parler, mais plutôt à une auto-évaluation visant à identifier les réussites potentielles et les enseignements tirés en vue d'interventions futures.

Avec un profond respect,

Ayman Ramsis 
+201006712846

Bonjour encore...

L'évaluabilité consiste-t-elle vraiment à vérifier
« les exigences managériales peuvent-elles être satisfaites » ou plutôt de
« Comprendre quelle approche d'évaluation convient au projet et à son contexte » ?
Je constate que cette tendance à utiliser l'évaluabilité comme une évaluation descendante
refaire surface encore et encore -

réduisant encore le champ d'application de l'évaluation au lieu de l'élargir.

Bonjour Jackie !

Si vous acceptez de considérer l'évaluation comme la vérification de la mesure dans laquelle une politique donnée, sa stratégie de mise en œuvre, son opérationnalisation et son activité sur le terrain ont réussi à améliorer la qualité de vie d'un groupe cible, alors il est facile de répondre à votre question. En d'autres termes, le problème consiste à déterminer si le produit final physique de l'action susmentionnée, par exemple une route, un hôpital, une école, une aide à l'agriculture, etc. a réellement profité à un groupe de personnes.

Le succès d'une action à évaluer n'est donc pas mesurable par l'excellence technique de ces produits finaux, dont certains peuvent être intangibles à première vue, par exemple une politique. Pour évaluer le succès ou l'échec d'une politique, il faut déterminer dans quelle mesure elle a bénéficié à un groupe cible.

C'est là que l'on se heurte à une série de difficultés :

• La majorité d'un groupe cible est-elle disposée à _utiliser_ le produit final d'un projet ? Si ce n'est pas le cas, une excellente route, un hôpital, etc., pourront peut-être servir l'objectif visé, mais ils ne profiteront pas à la population. Les normes culturelles et certains types d'intérêts particuliers peuvent susciter une opinion publique défavorable, ce qui rendrait le produit final inutile. De telles situations sont très difficiles à identifier et donc à évaluer.
• Le groupe cible peut être incapable de faire un usage approprié d'un produit final en raison de l'incompétence de la majorité du groupe cible. Le manque de formation pertinente, sa négligence dans les plans de projet, etc. sont les principales causes de cette situation. L'évaluation ne semble pas tenir compte de l'importance pour le groupe cible de posséder cette compétence.

Meilleurs vœux !

Lal.

Bonjour Jackie,

Je ne suis pas sûre d'avoir vu une liste de contrôle (bien qu'une telle liste serait formidable !), mais en général, il s'agit de savoir quel type d'évaluation est demandé et si le type d'information est disponible. Par exemple, si le client souhaite une évaluation des processus, mais ne souhaite pas que l'évaluateur mène des entretiens ou des groupes de discussion, cela peut poser problème.

Les principaux points que je prendrais en considération sont de savoir si l'information/la participation est disponible pour satisfaire (1) le type d'évaluation demandé (2) les exigences contractuelles (3) les besoins éthiques (4) le budget/les ressources alloués.

J'espère que cela pourra vous aider.

Je vous souhaite bonne chance,
Lizzy

Merci beaucoup, Jindra, d'avoir partagé votre expérience et les liens utiles ci-dessous. J'ai lu avec intérêt votre liste de contrôle des évaluations de l'évaluabilité pour les évaluations ex ante. Votre expérience selon laquelle très peu de programmes disposent de données suffisantes trouve un écho. J'aimerais savoir si vous avez une réflexion sur la réception et l'utilisation des résultats de l'évaluation de l'évaluabilité par les parties prenantes sur la base de votre expérience (question 3 ci-dessus).

Cordialement, Amy

Bonjour à tous,

Merci d'avoir partagé votre expérience sur les évaluations de l'évaluabilité. J'aimerais savoir ce qui rend un programme "inestimable". Existe-t-il une liste de contrôle à cet effet ?

Je vous prie d'agréer, Madame, Monsieur, l'expression de mes meilleures salutations,

Jackie

Tout le monde, oui, comme l'a dit Gaia : "Les évaluations de l'évaluabilité permettent de déterminer si un projet est prêt à être évalué. Il s'agit notamment d'examiner la clarté et la mesurabilité des objectifs, la solidité des plans de collecte de données, la disponibilité des données de référence, etc. Je suis étonné du nombre de projets qui ne sont pas évaluables (grâce aux évaluations de l'évaluabilité qui nous le montrent), ce qui constitue une débâcle évitable en matière de données. Par exemple, en 2022, nous avons partagé notre processus d'évaluation ex-post et 4 études de cas au Fonds d'adaptation (en anglais). Sur la diapositive 8, nous constatons que seuls 20 % des projets étaient évaluables sur la base des critères que nous avions définis, notamment le fait d'avoir été fermés pendant au moins 3 ans mais pas plus de 7 ans, l'existence de bonnes données à évaluer (faisabilité méthodologique) et les possibilités d'apprentissage entre les secteurs, les zones géographiques, etc.

Chaleureusement, Jindra

Bonjour à tous

Je voudrais juste ajouter un point à celui de Svetlana : "il est important de noter que tous les contextes ne sont pas créés égaux et qu'on ne peut pas supposer un niveau de préparation incontestable pour une évaluation dans n'importe quel type et taille d'intervention et dans n'importe quel contexte. Dans les contextes en évolution, certains aspects peuvent ne pas être priorisés à temps et ne pas répondre aux besoins de toutes les personnes impliquées".
Je pense que c'est particulièrement le cas des intérêts des parties prenantes dans une évaluation : ce qu'elles veulent savoir et ce qui les préoccupe. Ceux-ci sont très susceptibles d'évoluer au fil du temps. 

Chers tous,

Je suis ravi d'avoir fait partie de l'équipe chargée de l'évaluation de l'évaluabilité des quatre initiatives régionales intégrées du CGIAR. Ce fut une expérience d'apprentissage précieuse, qui a révélé à la fois des forces et des défis dans l'utilisation du cadre d'évaluation de l'évaluabilité pour la première fois, en particulier en ce qui concerne la compréhension de l'évaluabilité et de l'engagement des parties prenantes. 

Merci beaucoup, Hadera, pour votre message. J'apprécie que vous ayez soulevé cette question importante. Je suis d'accord pour dire que les pratiques de gestion du cycle de projet (GCP) sont essentielles, mais qu'elles ne rendent pas les évaluations environnementales autonomes superflues. Les évaluations de l'évaluabilité complètent la GCP en fournissant une évaluation dédiée, indépendante et détaillée de l'évaluabilité d'un projet, améliorant ainsi la qualité globale du projet, la responsabilité et les chances de succès.

En effet, les évaluations de l'évaluabilité impliquent des évaluateurs externes qui apportent un point de vue impartial. Cette évaluation indépendante peut permettre d'identifier des problèmes potentiels que les parties prenantes internes pourraient négliger en raison de leur familiarité ou de leur intérêt pour la réussite du projet.

En outre, les évaluations de l'évaluabilité autonomes déterminent spécifiquement si un projet est prêt à être évalué. Il s'agit notamment d'examiner la clarté et la mesurabilité des objectifs, la solidité des plans de collecte de données, la disponibilité des données de référence, etc. Ces éléments peuvent ne pas faire l'objet d'une analyse approfondie au cours des phases normales de la GCP.

Enfin, d'après notre expérience des évaluations précédentes, la qualité des données est une question importante. En fait, il a souvent été nécessaire de procéder à un nettoyage approfondi des données, ce qui a nécessité du temps et des ressources supplémentaires. Une évaluation de l'évaluabilité permettrait d'anticiper et d'éviter ce problème.

Avec mes remerciements et mes chaleureuses salutations,

Gaia Gullotta

Chers collègues, 
Il est passionnant de voir une discussion aussi perspicace et passionnée. Je représente la fonction d'évaluation du CGIAR et nous avons développé et mis en œuvre des évaluations de l'évaluabilité avec Amy sous les conseils de Rick Davies. La raison d'être des évaluations de l'évaluabilité au sein du CGIAR est résumée dans le blog. En complément et en réponse à certains points soulevés ici, il est important de noter que tous les contextes ne sont pas créés égaux et que le niveau de préparation incontestable pour une évaluation ne peut pas être supposé pour tout type et taille d'intervention dans n'importe quel contexte. Dans les contextes en évolution, certains aspects peuvent ne pas être priorisés à temps, et ne pas répondre aux besoins de toutes les personnes impliquées. 

Les évaluations de l'évaluabilité nous ont donc déjà permis de faire un pas en avant pour faciliter l'apprentissage et garantir que des mécanismes de responsabilité, que l'on peut même appeler une base d'évaluation, sont en place avant qu'une intervention ne soit lancée ou n'aille trop loin. Les évaluations de l'évaluabilité ont contribué à renforcer la confiance des parties prenantes, y compris des professionnels du suivi, de l'évaluation et de l'apprentissage (SIE) (souvent désemparés) et des bailleurs de fonds, dans le fait que les buts et objectifs ambitieux sont non seulement réalisables à mettre en œuvre et à mesurer, mais aussi que les collègues du suivi, de l'évaluation et de l'apprentissage (SIE) sont une partie prenante essentielle pour nous et pour réconcilier la responsabilité et la transparence avec les bailleurs de fonds.

Les évaluations de l'évaluabilité ont contribué à renforcer le sentiment d'appropriation et la crédibilité des processus et des résultats, et peuvent donc s'avérer cruciales pour garantir le financement et le soutien. En faisant des recommandations aux bailleurs de fonds sur le calendrier et la portée de l'évaluation, il est possible de définir correctement les attentes, ainsi que le niveau auquel l'évaluation peut être financée, afin de définir les attentes en matière de profondeur de l'enquête et d'apprentissage par l'évaluation.  

Merci à tous pour vos commentaires.

Pour moi, l'évaluation de l'évaluabilité est liée à la théorie du changement.

C'est un moyen de réévaluer et de recouper le processus d'évaluation afin de vérifier si les résultats sont crédibles, acceptables, fiables et cohérents avec ce qui était attendu.

Remerciements.

Norbert TCHOUAFFE, PhD

Chère Amy

Merci d'avoir pris le temps de lire et de répondre.

Toutes mes excuses, mais permettez-moi d'être franche et honnête.....

Merci beaucoup d'avoir expliqué ce que M. Scriven a écrit. Je comprends maintenant. Cela dit, je n'ai toujours pas compris l'importance et la signification de ce qu'il a écrit. La maternité et la tarte aux pommes, c'est intelligent mais c'est un peu mince 😉

En ce qui concerne les évaluations de l'évaluabilité elles-mêmes, et comme j'y ai fait allusion, l'objectif et la portée de l'enquête d'une EE semblent faire partie intégrante de ce que la plupart des gens appelleraient une évaluation ex ante compétente. Comme vous le dites, il est bon d'avoir un ou deux évaluateurs dans l'équipe, mais... Comment ne pas examiner l'"évaluabilité" de l'investissement en l'évaluant et en examinant le raisonnement probant qui sous-tend sa raison d'être et ses facteurs de conception, y compris un cahier des charges et/ou un cadre de résultats ?  Ou bien sommes-nous en train de dire qu'une évaluation qui recommande qu'un investissement ne soit pas digne d'intérêt peut être jugée évaluable ou, en fait, vice versa (en supposant que l'EE soit réalisée après l'évaluation) ?

Ainsi, et comme le souligne Hadera, la valeur ajoutée générée par la réalisation d'une EE discrète - certains diraient artificielle - uniquement par des évaluateurs semble au mieux marginale, fragmente potentiellement l'équipe et apparaît comme plutôt extravagante et indulgente.  

Merci beaucoup pour cet article et pour les discussions qui ont suscité des interrogations, des débats, du scepticisme et des doutes sur les évaluations de l'évaluabilité.  

Avec mes meilleurs vœux,

Daniel

Je remercie Amy d'avoir abordé ce sujet. Je remercie également le Bureau d'évaluation du CGIAR d'avoir développé un cadre d'évaluation de l'évaluabilité.

Selon moi, si la gestion du cycle de projet est effectuée efficacement pour un projet donné, les avantages envisagés de l'évaluation de l'évaluabilité sont intégrés dans la gestion du cycle de projet.  Par conséquent, tous ces projets sont évaluables.  Je ne vois pas la nécessité d'une évaluation autonome de l'évaluabilité.  En général, les projets sont financés après avoir franchi différentes étapes/phases de validation par les parties prenantes afin de garantir leur faisabilité, leur mise en œuvre harmonieuse et la réalisation des résultats et des impacts envisagés.  Ces phases comprennent notamment : l'identification du problème, l'étude de faisabilité, l'analyse des parties prenantes, la conceptualisation initiale, la planification du projet, le plan de mise en œuvre, le plan d'évaluation et de suivi. En outre, les projets sont évalués avant leur mise en œuvre. En outre, au cours de la mise en œuvre, entre autres, un suivi et des rapports réguliers est effectué et communiqué aux principales parties prenantes, dans le but de garantir/vérifier que les projets sont mis en œuvre correctement et de prendre des mesures correctives en temps opportun si tel n'est pas le cas.  En conclusion, compte tenu des contraintes financières actuelles largement signalées pour le financement des projets, pourquoi devons-nous procéder à des évaluations autonomes de l'évaluabilité, si une gestion saine/efficace/contemporaine/informée du cycle de projet est employée et que les projets sont correctement évalués ? 

Je vous prie d'agréer, Monsieur le Président, l'expression de mes salutations distinguées,

Hadera Gebru

Chers tous,

Merci pour votre participation active et vos commentaires ! Je les lis et j'y réfléchis au fur et à mesure qu'ils me parviennent. Je réponds maintenant à Dreni-Mi et à Daniel, et je me réjouis de poursuivre la discussion. 

Chère Dreni-Mi,

Merci beaucoup pour votre message. Vous avez donné une bonne vue d'ensemble des différentes phases d'une évaluation de l'évaluabilité, une justification de sa mise en œuvre et de ses avantages. Il existe plusieurs étapes d'évaluation de l'évaluabilité décrites dans la littérature sur l'évaluation, toutes quelque peu liées mais mettant l'accent sur des aspects ou des valeurs différents, et avec une catégorisation légèrement différente. Les 8 étapes de Wholey me viennent à l'esprit, ainsi que les 4 étapes de Trevisan et Walser. L'accent que vous mettez sur le rapport coût-efficacité et la préparation d'une évaluation de qualité résonne, je pense, dans toutes les approches.

L'un des enseignements que nous avons tirés des évaluations de l'évaluabilité au CGIAR l'année dernière est la valeur d'un cadre (liste de contrôle) à utiliser et la nécessité de faire preuve de souplesse dans sa mise en œuvre. La nature en puzzle des évaluations de l'évaluabilité, dont Rick Davies a parlé dans un autre article, me semble être une façon particulièrement utile d'envisager les évaluations de l'évaluabilité comme un moyen de rassembler les différentes pièces d'une approche mieux adaptée à un certain contexte. Définir clairement les objectifs d'une évaluation de l'évaluabilité et répondre à des besoins spécifiques permet d'utiliser le cadre de manière plus efficace, en apportant plus de souplesse et de nuance au processus.

Cher Daniel,

Je vous remercie pour vos commentaires. Je vais répondre à quelques-uns d'entre eux. Je suis tout à fait d'accord pour dire que les évaluateurs devraient être assis à la table de conception du projet. D'après mon expérience, la participation des évaluateurs et leur capacité à faciliter la réflexion évaluative entre collègues contribuent généralement à améliorer l'évaluabilité d'une intervention. Elle peut également faciliter le développement d'un suivi solide et d'une planification de l'évaluation, ainsi que la capacité d'utiliser les données générées par ces processus et d'en tirer des enseignements. Un tel rôle élargit ce qui est généralement compris, dans certains cercles en tout cas, de ce que sont les évaluateurs et de ce qu'ils font, ce que j'apprécie vraiment en termes de soutien à la professionnalisation de notre domaine.

Dans sa troisième édition du Thésaurus de l'évaluation, Michael Scriven fait référence au concept de "falsifiabilité" du philosophe Karl Popper lorsqu'il aborde la question de l'évaluabilité. Ce concept renvoie à l'idée qu'il devrait toujours être possible de prouver qu'une théorie, une hypothèse ou une déclaration est erronée. Pour qu'un évaluateur (selon la définition de Scriven de ce qui doit être évalué - un programme, un projet, du personnel, une politique, etc.) soit évaluable, je comprends qu'il soit considéré comme falsifiable dans la mesure où il est conçu, développé ou construit de manière à ce que des preuves puissent être générées comme "preuves" de sa valeur.

La connotation religieuse de la référence de Scriven à un premier commandement vise certainement à donner de l'importance au concept. L'évaluabilité en tant que "premier commandement de la responsabilité" m'apparaît comme un dû, une justification et, en fin de compte, une responsabilité. Scriven note que la faible évaluabilité a un prix élevé en termes de coûts supportés. "On ne peut pas apprendre par essais et erreurs s'il n'y a pas de moyen clair d'identifier les erreurs. Et "Il ne suffit pas de pouvoir expliquer comment on a dépensé l'argent, il faut aussi pouvoir le justifier en termes de résultats obtenus" (p. 1).

Je pense que Scriven traite plus en détail de l'évaluabilité dans sa 4e édition. Je suis en voyage et je n'ai pas accès à ma bibliothèque de copies papier à la maison. Peut-être d'autres personnes peuvent-elles me fournir des informations complémentaires à ce sujet.

Des idées ?

Je suis d'accord avec vous [contribution de Rick Davies ci-dessous] sur de nombreux points, et oui, il est essentiel de vérifier la réalité de ce qu'une évaluation doit et peut faire.

1.

Je suis d'accord avec vous sur ce point. Et trop d'évaluations sont en pilotage automatique (c'est-à-dire qu'elles copient et collent un modèle avec de petites adaptations à la fin du projet). J'accueille favorablement l'évaluabilité en tant qu'occasion d'élargir les possibilités, par exemple en suggérant des évaluations en temps réel, en promouvant des approches participatives ou en soulignant les questions importantes qui doivent être abordées ou les priorités à traiter. Mais soyons réalistes : la plupart des documents d'évaluabilité que j'ai vus vérifient si le programme a collecté des indicateurs prédéfinis sur un cadre logique/une théorie du changement convenu(e) et demandent de vérifier quels critères de l'OCDE⁄DAC peuvent être évalués. L'Agence autrichienne de développement présente des points intéressants sur l'utilité de l'évaluation telle qu'elle est perçue par les différentes parties prenantes - mais l'annexe est manquante :-( (s'agit-il toujours d'un document de travail ?)  
Je rêve d'un document sur l'évaluabilité qui fournisse un catalogue de possibilités plutôt que de se limiter aux approches conventionnelles. Il devrait suggérer qu'une évaluation du développement est possible, par exemple, plutôt que de demander des théories de changement prédéfinies. Sinon, l'évaluabilité étouffera l'innovation au lieu de la promouvoir.

2.

Bien sûr, nous devons dépenser les ressources d'évaluation de manière judicieuse. Et, bien sûr, une bonne évaluation de l'évaluabilité peut déboucher sur des évaluations plus efficaces (et de nombreux gestionnaires d'évaluation savent déjà le faire)
Réflexion sur le rapport coût-efficacité.... est-il vraiment justifié de dépenser beaucoup d'argent pour comprendre seulement si un programme peut être évalué sans apporter d'apprentissage supplémentaire ? Je ne rejette pas cette idée, et oui, elle peut être utile.
Mais, pour les programmes appropriés, il est possible d'avoir une évaluation par étapes où la première phase évalue le programme et fournit quelques enseignements préliminaires tout en comprenant les meilleures options pour les phases suivantes. Bien sûr, il faut un évaluateur ou une équipe qui maîtrise les différentes méthodologies, qui soit adaptable et proche de la direction, mais c'est tout à fait possible. Une évaluation par étapes ne conviendra pas toujours, mais il s'agit d'une possibilité réelle qui peut être occultée par les approches conventionnelles de l'évaluabilité.

3.

Comme je l'ai déjà écrit, la liste de contrôle confirme une compréhension très conventionnelle d'un programme. Je répète ici que j'ai travaillé sur des programmes qui n'avaient pas de cadre logique, ou qui ne fixaient pas d'indicateurs et de points de référence (pensez, par exemple, à l'évolution des modèles de travail), et où l'évaluation a contribué à systématiser les approches. Ces programmes n'auraient tout simplement pas passé les listes de contrôle proposées. Et dans quelle mesure ils auraient pu atteindre des parties prenantes importantes qui n'ont été identifiées qu'en faisant boule de neige.  Oui. Je fais référence à des cas particuliers, car j'ai tendance à travailler davantage à la base et sur des projets novateurs. Mais ce sont ces projets qui risquent le plus de passer inaperçus dans le cadre d'une conception conventionnelle de l'évaluabilité.

Je vois donc comment l'évaluabilité telle qu'elle est peut fonctionner pour de grands projets relativement standardisés. Mais telle qu'elle est aujourd'hui, elle n'est pas encore en mesure de devenir une possibilité pour des approches nouvelles et pour libérer des idées et des possibilités, ce dont notre secteur a grandement besoin.
 

Bonjour Amy,

Merci d'avoir lancé ce fructueux débat. J'aimerais partager mon expérience en matière d'évaluation de l'évaluabilité des programmes de la FAO. Ces évaluations ont généralement pour but de déterminer si le travail de la FAO dans un domaine donné est prêt à être évalué et/ou d'informer la prise de décision sur les plans d'évaluation de la FAO.

Par exemple, l'évaluation de l'évaluabilité du programme de réduction de la pauvreté rurale de la FAO (disponible à l'adresse https://openknowledge.fao.org/server/api/core/bitstreams/161ba76c-daea-...) a permis d'identifier les composantes du programme de la FAO qu'il était possible et utile d'évaluer en termes de résultats. Avec cet objectif en tête, l'évaluation de l'évaluabilité a examiné la clarté de la logique du programme et le degré d'achèvement des activités planifiées et l'utilisation des ressources, et a abouti à des propositions sur la portée, l'approche, la conception méthodologique et le plan de travail de l'évaluation.

Plus récemment, nous utilisons les évaluations de l'évaluabilité pour éclairer nos décisions sur les évaluations à mener, ainsi que pour définir leur portée, leurs objectifs et leur approche. Cette évolution est conforme à notre stratégie à moyen terme qui vise à garantir que le bureau de l'évaluation produise des évaluations de haute qualité qui répondent aux besoins des parties prenantes de la FAO (https://www.fao.org/evaluation/highlights/detail/fao-evaluation-strateg...).   
 

Cordialement, 

Carlos

Chère Amy,

Merci beaucoup d'avoir soulevé cette question, qui a le potentiel de faire beaucoup de bien, ainsi que son contraire.

Mon point de départ en matière d'évaluation est très simple : un ensemble d'actions visant à améliorer la vie d'un groupe cible pourrait-il être atteint/a-t-il été atteint ?

Si la réponse à cette question est non/marginalement/partiellement, l'ensemble des actions entreprises est défectueux d'une manière ou d'une autre. Toutefois, ces actions insatisfaisantes peuvent laisser derrière elles d'excellentes autoroutes, des hôpitaux spécialisés, des ponts, des aéroports internationaux, etc.

Il est extrêmement difficile d'évaluer dans quelle mesure un bien public a été réalisé. Lorsque des projets, c'est-à-dire un ensemble d'actions, sont décidés, il est rare que les souhaits réels d'un groupe cible soient consultés de manière significative. Et même lorsque le groupe cible est généralement d'accord sur l'opportunité d'un objectif, il peut y avoir des désaccords sur la manière d'atteindre cet objectif. Souvent, cela est dû aux normes culturelles dominantes dans ce groupe social ou à l'influence d'un intérêt extérieur habile à faire de la propagande.

Si l'évaluateur a la volonté et la capacité d'identifier et de mesurer l'ampleur et la nature de ces trois variables au cours de l'exécution et de la conclusion d'un projet, il est possible de procéder à des ajustements correctifs afin d'en accroître le succès. Certes, c'est difficile, mais si l'on s'y attelle, cela profitera en fin de compte à un groupe de personnes vivantes dont les besoins ne sont pas une simple entité.

A la vôtre !

Lal.

Chère Amy,

Merci d'avoir posté cette discussion. Je me souviens très bien avoir lu la synthèse de la littérature de Rick D en 2013. Voici les quatre observations que j'ai formulées :

1. Rick dit : "De nombreux problèmes d'évaluabilité trouvent leur origine dans une mauvaise conception du projet. Certains d'entre eux peuvent être résolus par l'engagement d'évaluateurs au stade de la conception, par le biais de contrôles d'évaluabilité ou autres".  C'est un point important. Il arrive trop souvent que les théories du changement et/ou les cadres de résultats soient élaborés sans analyse suffisante des problèmes ; 
2. Toute personne compétente serait en mesure de les repérer et de recommander des améliorations de la cohérence et de la validité de ce qui doit être évalué - c'est ce que l'on appelait autrefois une évaluation ex ante. M. Quinn Patton a utilement réintroduit ce type d'évaluation par le biais de l'évaluation du développement. Dans ce contexte, on peut s'interroger sur la nécessité d'une évaluation spéciale / distincte de l'évaluabilité ;  
3. Qu'en est-il du suivi ? - Qu'en est-il du suivi ? c'est-à-dire de l'implication de la direction dans la conception et la mise en œuvre. Le point de vue d'un évaluateur et les besoins d'information des évaluateurs et des donateurs ne sont qu'un élément parmi d'autres. Le suivi et l'évaluation servent des objectifs différents, répondent à des questions différentes à des moments différents et ont des exigences différentes en matière d'analyse comparative.
4. Si les résultats - produits, effets et impacts - de l'entité évaluée ne sont pas pertinents pour ceux qui en ont besoin - par opposition à ceux qui sont au pouvoir - alors il importe peu qu'elle puisse être évaluée ou même approuvée en premier lieu. Non ? Je sais que c'est une chose évidente.

Enfin, un peu d'aide : Vous avez cité Michael Scriven qui a dit "L'évaluabilité est analogue à l'obligation d'entretien d'une nouvelle voiture et peut être considérée comme "le premier commandement en matière de redevabilité". Je sais qu'il s'agit d'une phrase importante, mais je ne la comprends pas et je ne saisis pas son importance. Que pensez-vous qu'il veuille dire ?

Meilleurs vœux et merci encore,

Daniel

Bonjour Silva

Permettez-moi de répondre à certains de vos points

1. « Tous les projets peuvent et doivent être évalués »

            Oui, mais QUAND ? Les délais recommandés par l'EE peuvent donner le temps d'examiner les données, la théorie et les préoccupations des parties prenantes, et ainsi conduire à une évaluation plus utile.

             Oui, mais COMMENT ? Les approches doivent être proportionnées aux ressources, aux capacités et au contexte. Les évaluations environnementales peuvent apporter une aide à cet égard.

2. Re « Certaines conceptions de projet sont manifestement sans valeur, et certains cadres de suivi et d'évaluation sont manifestement inadéquats à première vue » et votre commentaire selon lequel... « Nous confondons la documentation du projet avec la réalité du travail ».

           Il serait extrême d'affirmer qu'il n'y a pas de bonnes pratiques (quelle que soit leur définition) sur le terrain dans de telles circonstances (c'est-à-dire lorsqu'il y a de mauvaises conceptions, de mauvais cadres de suivi et d'évaluation).

           Mais il serait tout aussi extrême d'affirmer l'inverse, à savoir que l'état de la conception et la disponibilité des données n'ont aucune relation avec les résultats sur le terrain. Si vous adoptez cette position, la décision d'évaluer est effectivement un pari, avec le temps et les ressources de quelqu'un.

           À un moment donné, quelqu'un doit décider du montant à dépenser, du moment et de la manière de le faire. Les évaluations environnementales peuvent contribuer à éclairer ces décisions

3. Re « Le programme peut-il être évalué à l'aide d'une boîte à outils standard » (ce que l'évaluabilité risque de devenir) »

            J'aimerais voir des preuves de cette affirmation.

           Comme contre-preuve, du moins en ce qui concerne l'intention, je vous renvoie à ce diagramme, tiré du guide d'évaluation environnementale de l'Agence autrichienne de développement, et à la référence à la nature en puzzle d'une évaluation environnementale, dans le sens où il faut faire coïncider différents besoins et capacités, plutôt que de suivre un quelconque schéma directeur.
 

salutations, rick

La question que je me pose à propos de l'« évaluabilité » est que tous les programmes peuvent (et doivent) être évalués.

Certains programmes se prêtent à des approches plus « rigoureuses » et plus courantes, tandis que d'autres, en raison de leur complexité inhérente, requièrent des méthodologies différentes.

Ces approches alternatives peuvent aider à comprendre des dynamiques qui n'existaient pas auparavant... ce qui est une BONNE chose. Tous les programmes n'ont pas besoin d'être préformatés. Cela peut être particulièrement bénéfique pour les programmes participatifs et innovants/adaptatifs qui doivent déterminer la meilleure façon d'aller de l'avant au fur et à mesure qu'ils progressent.

Il est essentiel que nous n'utilisions pas l'évaluabilité comme une nouvelle brique dans le mur pour faire des évaluations une simple question de conformité aux résultats ou un processus moins coûteux de recherche standard appliquée à des théories de changement arbitraires.
Au contraire, nous devrions considérer l'évaluation comme une opportunité d'évaluer les changements de manière cohérente avec l'intention et le contexte du programme. La question n'est donc pas de savoir si le programme peut être évalué à l'aide d'une boîte à outils standard (ce que l'évaluabilité risque de devenir), mais plutôt de savoir quelle est l'approche évaluative la mieux adaptée à ce contexte.

Lorsque je lis « *Certaines conceptions de projet sont manifestement non évaluables et certains cadres de suivi et d'évaluation sont manifestement inadéquats à première vue. Dans ces circonstances, une évaluation de l'évaluabilité n'est pas nécessaire pour décider s'il y a lieu de procéder à une évaluation. Les efforts doivent se concentrer sur les tâches plus immédiates d'amélioration de la conception du projet et/ou du cadre de suivi et d'évaluation*. » (https://www.betterevaluation.org/methods-approaches/themes/evaluability…)
J'ai vraiment envie de pleurer....

Nous confondons la documentation du projet avec la réalité du travail. D'après mon expérience, de nombreux projets avaient des logogrammes ou des théories du changement sommaires, mais ils étaient formidables. L'évaluation a permis de les systématiser et de mettre en évidence l'apprentissage et la valeur. Si nous continuons à nous intéresser uniquement à ce qui est préformaté, nous manquons la chance d'une véritable transformation.

Bonjour Amy et à tous,

Pour répondre à la question 2, à savoir comment faciliter l'utilisation des évaluations de l'évaluabilité, je trouve utile de procéder à une évaluation de l'évaluabilité sans l'appeler évaluation de l'évaluabilité, étant donné les aspects politiques de l'« évaluabilité ». Je la conçois comme une activité visant à préparer les programmes à l'évaluation plutôt qu'à déterminer l'« évaluabilité ». Cela signifie qu'il faut s'assurer que les liens dans la théorie du changement du programme sont logiques, que les résultats proposés sont possibles, etc. Cette approche de l'évaluation de l'évaluabilité est davantage un processus intégré à la planification et à l'évaluation du programme en général et, en tant que tel, ne débouche pas souvent sur un résultat autonome.

Il y a quelques années, mon collègue et moi-même avons examiné les cadres d'évaluabilité et les études de cas, ce qui pourrait nous permettre de mieux comprendre d'autres lacunes et opportunités.

Lam S, Skinner K. (2021). The use of evaluability assessments in improving future evaluations : a scoping review of 10 years of literature (2008-2018). American Journal of Evaluation. 42(4) : 523-540.

Meilleur,

Steven

Bonjour Cher(e)s ami (e)s et collègues d'Eval Forward!

Comme on est en apprentissage, j'apporte quelques éléments issus de ma recherche pour nous faciliter la compréhension sur l'Évaluation de l'Évaluabilité.

L'évaluation de l'évaluabilité : une étape cruciale avant toute évaluation

L'évaluation de l'évaluabilité est un processus qui vise à déterminer si une évaluation d'un programme, projet ou politique est réalisable et pertinente. En d'autres termes, il s'agit de vérifier si les conditions sont réunies pour mener une évaluation de qualité et obtenir des résultats fiables et utiles.

Pourquoi est-ce important ?

• Économiser du temps et des ressources: En identifiant les obstacles potentiels à l'avance, on évite de lancer une évaluation qui ne donnera pas les résultats escomptés.
• Améliorer la qualité de l'évaluation: En clarifiant les objectifs, les questions de recherche et les données disponibles, on augmente les chances d'obtenir des résultats solides et pertinents.
• Renforcer la crédibilité de l'évaluation: En démontrant que l'évaluation a été conçue de manière rigoureuse, on renforce la confiance des décideurs et des autres parties prenantes.

Les étapes clés d'une évaluation de l'évaluabilité

1. Définition des objectifs de l'évaluation: Quels sont les changements que l'on cherche à mesurer ?
2. Identification des questions de recherche: Quelles sont les questions auxquelles l'évaluation doit répondre ?
3. Analyse du contexte: Quel est le contexte dans lequel le programme est mis en œuvre ? Quels sont les facteurs externes qui pourraient influencer les résultats ?
4. Évaluation des données disponibles: Quelles sont les données existantes qui peuvent être utilisées pour répondre aux questions de recherche ? Sont-elles suffisantes et de bonne qualité ?
5. Identification des contraintes et des défis: Quels sont les obstacles potentiels à la réalisation de l'évaluation ? (par exemple, manque de ressources, difficultés d'accès aux données, etc.)
6. Proposition d'un plan d'évaluation: Si l'évaluation est jugée réalisable, un plan détaillé peut être élaboré, incluant la méthodologie, le calendrier et les ressources nécessaires.

Les bénéfices de l'évaluation de l'évaluabilité

• Une meilleure compréhension du programme: L'évaluation de l'évaluabilité permet de mieux comprendre le programme, ses objectifs et son fonctionnement.
• Une amélioration de la conception du programme: Les résultats de l'évaluation de l'évaluabilité peuvent aider à améliorer la conception du programme et à le rendre plus efficace.
• Une meilleure utilisation des ressources: En évitant les évaluations inutiles ou mal conçues, on optimise l'utilisation des ressources.

En résumé, l'évaluation de l'évaluabilité est un outil indispensable pour garantir la qualité et la pertinence des évaluations. Elle permet de s'assurer que les ressources investies dans l'évaluation sont utilisées de manière optimale et que les résultats obtenus seront utiles pour améliorer les politiques et les programmes.

Merci.

Dreni-Mi du Tchad