Auriez-vous des exemples de revue des théories du changement? 

Chère Anna Maria

Voici un lien vers un guide super simple de 3 minutes que nous avons réalisé pour créer une théorie du changement (pour l'unité de formation du PNUE, en anglais).

J'aimerais beaucoup voir ce que vous trouvez d'autre, car je suis sûre que l'équipe d'évaluation de la FAO avec laquelle je travaille actuellement serait intéressée par ce sujet.

Tous mes vœux
Harriet Matsaert
Consultante de l'équipe de communication de l'OED de la FAO

Bonjour Anna , merci de me partager les documents et expériences qui te seront partagés par les collègues. je serai de les recevoir.

Cordialement

Merci, Anna Maria, d'avoir facilité cette conversation sur la TdC.  J'ai travaillé avec des organisations qui existent depuis plus de 20 ans et qui ont périodiquement révisé leur vision, leur mission et leurs objectifs stratégiques ; certaines ont une compréhension non écrite des fondements philosophiques de leurs résultats souhaités. Pourtant, bon nombre de ces organisations matures n'ont jamais travaillé avec un évaluateur auparavant, et beaucoup n'ont pas accordé suffisamment d'attention à leurs TdC.  Je pense qu'il existe de nombreux cas où l'évaluation d'une organisation à impact social doit commencer par une collaboration avec le client pour définir, organiser et visualiser ses TdC en intégrant tous ses concepts et cadres implicites et explicites - le processus doit être collaboratif et participatif, et c'est un peu comme une archéologie/anthropologie de la connaissance foucaldienne. 

Chers tous,

La théorie du changement (TdC) ainsi que l'analyse du cadre logique sont des modèles permettant de réaliser une évaluation du cadre. Alors que le cadre logique est linéaire, la TdC est un modèle non linéaire centré sur l'humain, utilisé dans des situations complexes comme les catastrophes et le changement climatique.

La ToC peut être utilisée pour la simulation et la prédiction.

Salutations.

Norbert

Chère Anna Maria,

Bonjour et je pense que vous êtes sur la bonne voie - développer quelques questions avec lesquelles encadrer les conversations avec les personnes qui ont été impliquées dans la mise en œuvre. J'ajouterais également ceux qui ont participé à l'élaboration des TdC (qui peuvent être des personnes différentes).

Mon expérience personnelle en matière de révision des TdC suit trois grands thèmes, chacun accompagné d'une question générale :

• Inclusivité de l'approche/méthode - qui a été impliqué et dans quelle mesure, et de quelle théorie s'agit-il ? Par exemple, les conseillers du donateur ont-ils consulté les bénéficiaires/clients ou le personnel du donateur s'est-il contenté de faire ses propres recherches et d'aller et venir dans différents domaines techniques, avant d'être approuvé par une unité interne d'assurance qualité ou par ....... ? 
• Robustesse des preuves - sur quelle base les hypothèses ont-elles été développées et les résultats - réalisations, effets et impact - obtenus - les voies du changement et les changements eux-mêmes ? et 
• Cohérence et plausibilité du produit - le diagramme/visuel est-il accompagné d'un récit clair expliquant COMMENT la théorie d'action (c'est-à-dire les activités et les résultats) stimulera QUEL changement chez QUI et POURQUOI (c'est-à-dire la théorie du changement). 

L'aspect du produit variera également et, à cet égard, Silva soulève un bon point, bien que je ne prétende pas avoir les compétences logicielles pour produire le second diagramme, ni la capacité intellectuelle pour le comprendre !!! Les théories de l'action et du changement suivent rarement une trajectoire linéaire, mais il n'y a pas de bon ou de mauvais. Une différence essentielle réside dans la manière dont la TdC fait apparaître clairement les conséquences pour le processus de suivi et d'apprentissage. S'il s'agit de la construction d'un pont, il suffit de mettre au point un processus défini du début à la fin et de le suivre en conséquence. Cependant, s'il s'agit de produits de programme visant à stimuler des changements dans les comportements et les relations entre les personnes - ou les résultats - alors cela a des implications évidentes sur le suivi : les hypothèses faites sur la façon et la raison pour laquelle ils répondront aux produits - comptent autant, sinon plus, que les indicateurs de résultats.  

Selon le bailleur de fonds qui finance le travail que vous faites, chaque donateur a un point de vue/des lignes directrices légèrement différents pour les TdC (et les Cadres Logiques). J'en ai développé quelques-unes pour l'examen du contenu des cadres logiques et je les ai jointes. J'espère qu'elles vous seront utiles.  

Sur les cadres logiques.......La méthodologie utilisée pour développer ce que les gens appellent une TdC n'est pas si différente de la façon dont certains, comme GTZ (maintenant GIZ), développent des cadres logiques. Voir ici (en anglais). Je pense que c'est la meilleure méthode que j'ai vue, et je la recommande donc vivement comme référence pour évaluer la qualité du processus et, à bien des égards, du produit. Son essence est bien capturée par la vidéo soignée de Harriet Maria. Les affirmations selon lesquelles la ToC tient mieux compte que les cadre logique de la complexité et met l'accent sur les hypothèses et explique mieux le pourquoi et le comment du changement sonnent quelque peu faux.   

Comme pour beaucoup de méthodes et d'outils, il n'y a rien qui, à mon avis, soit intrinsèque aux cadres logiques, ait encouragé de nombreuses agences donatrices à ignorer ou à mal utiliser la méthode et à aboutir à un produit trop simpliste et jugé inadapté. Etant donné qu'ils l'ont fait, je n'ai pas été surpris qu'ils soient passés à ToC...... !

J'espère que tout cela vous aidera et bonne chance. N'hésitez pas à me contacter si vous souhaitez discuter de quoi que ce soit.

Je vous souhaite bonne chance,

Daniel  

Chers membres d'EvalForward,

Les lignes directrices de la ories des Théories du Changement TdC de Hivos démontrent comment la TdC doit intégrer tous les aspects des interventions de changement, y compris les processus sociaux où les actions individuelles interagissent continuellement avec celles des autres.

Hivos a développé huit étapes pour penser de manière critique lors de la conception d'une TdC. L'étape 8 est particulièrement intéressante, car elle énumère quelques suggestions essentielles sur la manière d'intégrer la TdC dans le processus du projet. Pour tirer efficacement des enseignements de la TdC, les auteurs recommandent des sessions de réflexion régulières avec le personnel et les parties prenantes concernées pour discuter des activités, des expériences et des résultats.
Ces sessions participatives, au cours desquelles les parcours, les hypothèses et les stratégies doivent être réexaminés, combinées à une collecte de données appropriée, permettront d'aligner les processus de gestion réguliers sur la TdC.
En outre, ces sessions de conception des TdC doivent reconnaître les relations de pouvoir et impliquer des rôles de leadership appropriés. La TdC doit également être transparente et visible dans la vie quotidienne de l'équipe et des participants au projet. 

Veuillez trouver ici le rapport utile de Hivos, partagé sur la section des ressources d'EvalForward: https://www.evalforward.org/resources/theory-change-thinking-practice 

Salutations, Emiel

Chère Anna Maria,

La révision de la théorie du changement (TdC) dans le cadre de la mise en oeuvre d'un projet de développement se fait sur la base d'une évaluation participative à mi-parcours du projet. Cette évaluation devrait connaître la participation de toutes les parties prenantes au projet. Elle se fait sur la base de critères qualité en fonction desquelles on décide de revoir la stratégie d'intervention. Il faut évaluer par exemple la pertinence du projet, son efficacité, la participation des acteurs. La révision de TdC sera un réajustement des éléments du cadre logique qui font problème, notamment la logique d'intervention et les suppositions importantes. Les blocages majeurs du succès du projet viennent souvent de ces deux catégories d'éléments du cadre logique.

Merci. 

Dr Emile N. HOUNGBO

Agroéconomiste, Enseignant-Chercheur

Expert en Elaboration et suivi-évaluation des projets de développement

Chère communauté EvalForward,

Un grand merci aux personnes qui ont contribué à la discussion jusqu'à présent : Tom Archibald, Brian Belcher, Harriet Maria Matsaer, Hayat Askar, Moussa Coulibaly, Silva Ferretti, Seda Kojoyan, Nelson Godfried Agyemang, Nasser Samih Quadous et Alan Ferguson.

Je suis heureuse de constater qu'il y a beaucoup d'expériences et de points de vue intéressants sur le sujet de la révision des Termes de référence. Je vous remercie également pour les ressources documentaires, les vidéos et les liens utiles.

Les éléments principaux suivants sont ressortis de la discussion :

1.    Il y a une compréhension commune que la révision des Termes de référence est un exercice bénéfique pour les projets car elle aide à mieux saisir les hypothèses sous-jacentes et à identifier les raisons du succès ou de l'échec des interventions spécifiques. Les organisations utilisent ces revues comme un outil d'apprentissage qui peut aider à améliorer la mise en œuvre du projet ou la conception des projets de suivi. 

2.    Comme les projets et les programmes fonctionnent dans des systèmes complexes, il en va de même pour les termes de référence. Il est très difficile d'adapter l'approche linéaire de la mesure du progrès à la pensée systémique qui rend mieux compte de cette complexité. Dans ce contexte, les politiques d'évaluation des donateurs ont généralement tendance à préférer une image plus ciblée et fragmentée de la mise en œuvre du projet.

3.    Les révisions des termes de référence sont souvent effectuées dans le cadre de l'évaluation des projets / programmes, mais la mise en œuvre des changements suggérés pose quelques problèmes pratiques. Comme le cadre logique ou d'autres cadres soutenant la mise en œuvre du projet sont plutôt fixés au début du projet, il est difficile d'introduire des changements au cours du projet. 

En ce qui concerne mon dernier point, j'ai une autre question à vous proposer:  

Connaissez-vous des cas d'évaluation où la révision des termes de référence a entraînée une modification des résultats attendus ou des indicateurs d'impact d'un projet ? Quelle a été la difficulté d'introduire ces changements ?

Je serai heureuse de recevoir vos commentaires et tout autre lien ou document.

Je vous remercie,
Anna

Anna - Il n'est pas toujours facile de convaincre les chefs de projet qu'ils doivent élaborer une TdC à mi-parcours, car le cadre logique ou la TdC d'origine est généralement oublié dès le début du projet. Il convient d'être stratégique et sélectif dans son approche. L'attitude, comme l'a déclaré un manager, est la suivante : "si nous faisons un bon travail de mise en œuvre des produits, les résultats se feront d'eux-mêmes". Les "réparations" majeures de la conception sont considérées comme perturbatrices et font donc l'objet d'une résistance.  Le processus peut être plus critique que la méthodologie. Réorienter un projet autour d'une TdC claire peut être difficile, à moins de se concentrer sur des éléments particuliers où les participants reconnaissent un problème de conception. Par exemple, dans une évaluation récente, nous avons recommandé une révision sur mesure de certaines questions structurelles en nous concentrant sur la clarification des principaux moteurs, agents, liens et voies d'accès aux résultats finaux :

"Il est très fréquent que les projets fassent l'objet d'un examen interne à mi-parcours et d'une mise à jour de leur stratégie, en mettant l'accent sur les voies d'accès aux résultats mesurables. Il existe plusieurs approches possibles. Par exemple, cela pourrait impliquer que les partenaires de mise en œuvre du projet identifient (a) les moteurs et les agents de changement pour les résultats immédiats associés aux principales composantes du projet, (b) les liens entre les composantes qui facilitent ces moteurs et agents, et (c) les voies conjointes ultérieures vers des résultats bien définis et mesurables aux niveaux régional, national et local. .........Bien que le cadre logique décrive efficacement la hiérarchie des résultats ("le quoi"), il serait utile de mettre davantage l'accent sur les principales voies de la théorie du changement ("le comment") dans la deuxième phase à venir."

Chère équipe EvalForward,

Oui, la reconstruction de la théorie du changement est la première étape que nous suivons dans la conception d'une évaluation. Je l'ai faite dans toutes les évaluations auxquelles j'ai participé au cours des 5 dernières années. L'examen et la reconstruction sont participatifs avec l'équipe du programme/projet. En général, de nombreux projets ont des problèmes dans leur conception de la logique d'intervention. La préparation des outils d'évaluation et l'adoption des questions doivent être approuvées par l'équipe de mise en œuvre afin de minimiser tout malentendu ou manque d'information. La nouvelle théorie du changement est présentée dans le rapport initial ainsi que dans le rapport final.

Remerciements,

Naser Qadous
Association palestinienne d'évaluation 
Ramallah

En réalité, la TCO est une "théorie des flux" (TOF). C'est ce que nous avons constaté au sein du Pan-African Consulting Consortium and Institute (PACCI https://pacciafrica.wixsite.com/pacci-net). Toute la vie est en flux, avec de l'incertitude, de la complexité et une prévisibilité non réalisée, ce qui rend le changement imprévisible et nécessite une attitude de flexibilité extrême, afin d'aborder de manière continue et itérative les questions émergentes multidimensionnelles et multidirectionnelles, en pensant et en agissant littéralement sur vos pieds.

Nelson Godfried Agyemang 

Président, Consortium et Institut Panafricain de Conseil (PACCI)

Akyeremade Ashanti Ghana

Je voulais exprimer mon accord avec Silva Ferretti ci-dessous, et aussi remercier les autres de partager leurs notes d'orientation et leurs documents !

Mes deux centimes.

Lorsqu'une "théorie du changement" (telle qu'illustrée dans le manuel) ressemble à ceci - avec des flèches allant dans la même direction, et avec un schéma linéaire (SI... ALORS),  c'est juste un cadre logique déguisé.

Une "théorie du changement" appropriée, adaptée à des configurations complexes, aura des flèches allant dans de nombreuses directions différentes, reliant les idées de manière difficile à démêler.
C'est plus désordonné, plus difficile à naviguer, mais... eh ! C'est à cela que ressemble le plus souvent la réalité.  (il s'agit de la "carte de l'obésité", au cas où vous vous poseriez la question).

Il y a un MONDE DE DIFFÉRENCE entre les deux. 
Vous ne pouvez pas vraiment les aborder de la même manière et avec le même raisonnement.
Cela devrait être le point de départ de toute analyse !

Une fois que vous avez compris si vous avez affaire à une théorie du changement linéaire ou complexe, vous devez vous rappeler que
- Dans certains cas, la pensée linéaire a sa raison d'être. 
- quand on aborde le changement social, le plus souvent non. 

Je trouve qu'il est assez malheureux que l'idée de "théorie du changement" - née pour apprécier la complexité, ait fini par n'être qu'une façon différente d'imaginer la pensée par cadre logique. 
Nous devrions au moins être capables de distinguer ce qui est un cadre logique sous stéroïdes de ce qui est une appréciation de la complexité, et avancer à partir de là. 

Chère Mme Hayat,

Merci beaucoup d'avoir partagé ce document. Il sera utile à quelqu'un (dont moi).

Cordialement,

Moussa

Bonjour Anna-Maria,

Vous trouverez ci-joint un guide utile sur les TdC que nous avons utilisé à l'école (en anglais). 

En outre, l'activité de suivi, d'évaluation et d'apprentissage de l'USAID en Jordanie a créé un kit de formation complet sur l'animation d'un exercice de TdC (en anglais) :

https://jordankmportal.com/collections/toc-training-materials

La Western Michigan University propose des listes de contrôle utiles sur des domaines spécifiques de l'évaluation. Vous pouvez vous y référer si vous cherchez des conseils sur une composante spécifique / un détail du COT et même dans le processus d'évaluation qui suit. Voici le lien (en aglais) :

https://wmich.edu/evaluation/checklists

Salutations,

Hayat

Chère Anna Maria,

Mes collègues et moi-même avons beaucoup travaillé à l'élaboration et à l'utilisation des TdC dans l'évaluation de la recherche. Bien que l'évaluation de la recherche présente certaines caractéristiques uniques, bon nombre des principes sont applicables de manière plus générale. Nous avons quelques ressources (Ressources - Efficacité de la recherche en matière de durabilité) sur le site Web du programme qui pourraient vous être utiles. Les "ressources supplémentaires" (Ressources supplémentaires - Efficacité de la recherche en matière de durabilité) peuvent être les plus pertinentes pour vos besoins.

Nous vous souhaitons bonne chance,

Brian Belcher

Bonjour Anna Maria,

C'est un excellent sujet et série de questions ! Moi aussi, je trouve que la révision des TdC est une tâche courante (et très utile), mais qui bénéficierait d'une orientation et d'une attention plus explicites. Dans mon travail, je l'ai relié à la notion plus large de la pensée évaluative - la création et la révision collaborative des TdC se produit dans une boucle de rétroaction mutuellement bénéfique et renforçante avec la pensée évaluative.

En termes de ressources, un document sur ce processus, avec quelques étapes/guides spécifiques suggérées, est joint et également disponible via le LearningLab de l'USAID ici. 

Il décrit le travail soutenu par Catholic Relief Services pour faire exactement ce à quoi vous faites référence. J'espère que cela vous sera utile !

Bonne chance,

Tom Archibald

https://sites.google.com/vt.edu/tgarch