Quelle est l'utilité des théories du changement dans les programmes et projets de développement?

Salut Carlos,

Veuillez trouver ci-dessous mes commentaires sur l'utilisation des TdC.

Essentiellement, les TdC visent à saisir les changements qu'une intervention subit depuis sa planification jusqu'au moment où elle se termine et par la suite sous forme d'impact. L'échelle de la TdC est généralement caractérisée par des intrants, des activités, des extrants, des résultats et un impact. En règle générale, les équipes de suivi de projet engagées dans la gestion quotidienne des projets ne peuvent prévoir que la faible utilisation des TdC sous la forme de résultats immédiats (à court terme), tandis que la différence que le projet devrait faire sera évaluée par une équipe d'évaluation qui jaugera le résultat (à moyen terme) et l'impact (à long terme) des interventions.

Nous utilisons cet outil dans la conception d'un système de S&E de notre stratégie nationale sur l'inclusion financière depuis 2015 en collaboration avec la Banque Mondiale. Je peux dire avec certitude, qu’elle est efficace dans le paradigme global de l'évaluation du développement étant donné que les bases, la planification et le choix d'experts appropriés sont faits avant de choisir des indicateurs pertinents (représentation vraie et juste) à travers l'échelle de la TdC.

En bref, quelques-uns des points à retenir que je peux résumer sont les suivants:

* Il s'agit d'un outil principalement utilisé par les professionnels experts du S&E et probablement pas tant que ça par les chefs de projet ou le personnel impliqué dans des missions de suivi seulement.

* Il est nécessaire de comprendre l'essentiel des TdC, qui fonctionnent tacitement en cohérence avec les principes de suivi et d'évaluation axés sur les résultats (GAR) par rapport aux pratiques de suivi conventionnelles.

* Dernier point mais non le moindre, si vous cherchez à développer un système de S&E qui fonctionne en cohérence avec les résultats d'une multitude d'interventions (au niveau national / mondial), il n'y a pas de meilleur outil que la ToC pour cartographier les résultats à tous les niveaux qui peuvent être dans un cadre de capture de preuves plus large et aligné.

C'est pourquoi, la TdC a acquis une importance considérable pour l'élaboration de politiques fondées sur des données probantes et à tel point dans la conception de nouvelles interventions basées sur des preuves antérieures.

 Pour un examen du travail du praticien, je suggérerais le guide de Linda G. Morra Imas et Ray C. Rist (2009), "The Road to Results". De plus, j'ai déjà partagé avec EvalForward ma publication, "Designing Robust M&E Systems ..". J'espère que vous trouverez ici des exemples de ToC mappés à partir du système RBM.

Je sera heureux de vous aider davantage en cas de questions.

Cordialement,

Zahid Shabbir
Joint Director
State Bank of Pakistan

Thank you Jackie and Richard, and all the previous commenters! It has been an interesting discussion, with so many different points of view and insights. We will soon be wrapping this up and summarize the learning in an Evalforward's blog. Keep an eye on it!

Best to all,

Carlos

Quand je regarde la théorie du changement (TdC), en particulier en ce qui concerne le développement et plus particulièrement l'agriculture des petits exploitants, je me demande si nous obtenons une analyse précise de son efficacité, ou si elle se retrouve prise dans le besoin des exécutants d'apaiser les donateurs pour assurer l’extension des projets et les projets futurs. Il en résulte que les projets semblent beaucoup plus réussis qu'ils ne le sont en réalité avec beaucoup d'argent investi pour des bénéfices limités et les bénéficiaires visés se retrouvant avec peu d'impact.

Je pense qu'une grande partie de la TdC appliquée aux communautés de petits exploitants provient du monde universitaire et se fonde davantage sur ce qui est socialement souhaitable que l'efficacité dans un changement durable et impliquant une utilisation plus large dans le pays d'origine des donateurs que la réalité qui induit le pays hôte en erreur. Une grande partie des TdC u COT imposé aux communautés de petits exploitants repose sur l'organisation et le recours à des organisations paysannes ou à des logiciels personnels plutôt qu'à du matériel ou des logiciels. L'idée est que les gens peuvent être organisés pour travailler dans leur intérêt collectif, même lorsque cela entre en conflit avec l'intérêt individuel. Malheureusement, les intérêts particuliers individuels finiront généralement par être prioritaires, de sorte que ces TOC nécessitent une facilitation externe continue, sinon des subventions directes pour survivre et s'effondrer dès que les derniers conseillers partent, peut-être avant qu'ils ne quittent la salle de départ pour le vol de retour.

Le meilleur exemple de cela est l'imposition de près de 40 ans de coopératives pour fournir des services commerciaux aux petits exploitants en termes d'intrants et de marchés consolidés. Cela se fait avec une diffamation générale, mais jamais corroborée et donc calomnieuse des commerçants privés. Cela est imposé même si le mouvement coopératif aux États-Unis, qui a eu un impact positif majeur il y a un siècle, est en déclin depuis plusieurs décennies et, lors de la dernière déclaration il y a 20 ans, il représentait moins de 30% de l'activité agricole. J'imagine que la même chose serait vraie pour les coopératives de l'UE ou d'autres bases de donateurs. Le problème du modèle coopératif est qu'il est lourd du point de vue administratif, ce qui se traduit par des frais généraux élevés qui, dans les pays en développement financièrement affaiblis, dépasseront rapidement les avantages financiers des intrants et des produits commercialisés. Lorsque cela s'est produit, le recours aux coopératives forcera les petits agriculteurs à sombrer davantage dans la pauvreté. Le résultat est que les projets coopératifs n'attirent qu'un petit pourcentage des bénéficiaires potentiels, peut-être 10 à 12%, et même alors, la majeure partie de la production des membres est vendue à des commerçants privés vilipendés, laissant la coopérative avec un peu plus que dans -les remboursements de prêts. Pas ce que vous pourriez objectivement appeler un projet réussi. Pourtant, avec une comptabilité créative, ils sont toujours considérés comme réussis au moins pendant que quelqu'un les facilite.

Un autre exemple est l'utilisation des associations d'utilisateurs d'eau pour gérer l'eau d'irrigation et entretenir les canaux. Ils sont basés sur les sociétés Ditch du Colorado (d'où j'écris) et d'autres États de l'ouest des États-Unis. Le succès de ces entreprises repose sur une loi sur l’eau très stricte et rigoureusement appliquée qui n’est pas disponible dans la plupart des projets d’irrigation dans lesquels des associations d'utilisateurs d'eau sont imposées. Ainsi, alors qu'il existe un intérêt commun commun à l'entretien des canaux d'irrigation, l'intérêt individuel acquis fait un changement de 180 degrés une fois que vous passez l'entrée de l'individu. Encore une fois, ils peuvent exister tant qu'il y a une aide extérieure, mais ils s'effondreront une fois celle-ci terminée.

Veuillez consulter les pages Web suivantes, y compris les liens internes:

https://smallholderagriculture.agsci.colostate.edu/appeasement-reporting-in-development-projects-satisfying-donors-at-the-expense-of-beneficiaries/

https://smallholderagriculture.agsci.colostate.edu/perpetuating-cooperatives-deceptivedishonest-spin-reporting/

https://smallholderagriculture.agsci.colostate.edu/request-for-information-basic-business-parameters/

https://smallholderagriculture.agsci.colostate.edu/mel-impressive-numbers-but-of-what-purpose-deceiving-the-tax-paying-public/

https://smallholderagriculture.agsci.colostate.edu/financially-suppressed-economy-2/

Merci, Carlos, d'avoir soulevé un autre sujet important dans le forum et pour les liens vers les documents. Je remercie également les collègues qui ont partagé leur expérience et leurs commentaires.

La théorie du changement, le cadre logique (cadre logique) et les chaînes de résultats sont toutes des méthodologies de planification, de mesure et d'évaluation des programmes. Chacun a une représentation visuelle sous la forme d'une matrice de ce qui se passe ou devrait se produire à la suite du programme ou du projet ou de toute initiative d'ailleurs. En tant qu'ancien facilitateur à l'IPDET (programme international de formation à l'évaluation du développement financé par la Banque mondiale) et dans ma pratique, j'ai constaté que la théorie du changement est un nom ou un titre qui n'est pas facilement identifié comme méthodologie; c'est un terme qui peut faire peur dans l'esprit ?. Je préfère utiliser Logic Model, un terme que certains utilisent de manière interchangeable pour décrire la ToC. Cependant, le modèle logique est également synonyme de chaînes de résultats (https://www.betterevaluation.org/en/search/site/result%20chain) et de la théorie du programme / théorie du changement (https://www.betterevaluation.org/en/ rainbow_framework / define / develop_programme_theory).

À mon avis, la théorie du changement est un outil plus puissant que les deux autres mentionnés, car les liens directs entre les activités, les extrants et les résultats (à court et à moyen et à long terme, souvent appelés impact) doivent être établis et présentés dans la matrice.  En outre, la TdC n'est pas complète sans hypothèses. Ce n'est pas une matrice ponctuelle mais doit / peut être révisée et modifiée avec le temps. Lors de l'évaluation, les hypothèses doivent être vérifiées et si elles ne se vérifient pas ou si les activités ont été modifiées au cours du programme, la matrice doit être revue en conséquence.

Les exigences de la TdC favorisent une réflexion approfondie sur ce que le programme essaie de réaliser. Une difficulté souvent rencontrée est de décider ce qui est un produit  et ce qui est un résultat. J'ai trouvé le document Kellogg un guide très utile; il utilise le terme modèle logique  https://www.bttop.org/sites/default/files/public/W.K.%20Kellogg%20LogicModel.pdf

La sémantique est importante dans le développement de la matrice et les verbes actifs tels que «Augmenté» qui dénotent des changements, aident à faire la distinction entre le produit et le résultat.

Je trouve également que le fait de remplir la colonne activités entraîne des discussions qui montrent souvent que les parties prenantes ne sont pas au courant ou ont des opinions différentes de ce qui s'est réellement passé pendant la mise en œuvre du programme. Des discussions de suivi ont souvent lieu pour savoir si les activités déclencheront un changement de comportement parmi les bénéficiaires du programme et auront un effet d'entraînement et des résultats dans la communauté ou la population cible globale. Je trouve que la matrice ToC facilite l'identification d'indicateurs qui sont plus significatifs pour mesurer la performance et les résultats.

Je conviens que la TdC doit être développée de manière participative. Cependant, au moment de l'évaluation, il peut ne pas exister ou celui disponible est médiocre / déroutant. Dans ces cas, après un premier examen des documents et des discussions avec le personnel du programme, je vais concevoir la matrice ou modifier la matrice existante et la diffuser. Cela m'aide à comprendre le programme et à formuler mes demandes de clarification. Étant donné que la matrice est simple à lire (j'aime de gauche à droite), elle reçoit généralement l'attention et les commentaires. Nous nous retrouvons avec toutes les personnes impliquées ayant la même compréhension du programme et de ses réalisations escomptées. J'ai vu des questions d'évaluation révisées à la suite de cet exercice.

Il serait intéressant de savoir combien d'Ipdeters qui pratiquent l'évaluation utilisent la TdC dans leur travail. La TdC est au cœur de l'IPDET. Voir Road to Results, Morras et Rist 2009, le manuel de cette formation. https://openknowledge.worldbank.org/bitstream/handle/10986/2699/52678.pdf?sequence=1&isAllowed=y

Chers collègues,

Je voulais soulever un aspect qui est apparemment devenu une procédure standard lors de la réalisation des TdC - de nombreux collègues ont déclaré qu'ils utilisent largement cet outil pour la conception / mise en œuvre / évaluation de programmes. Cependant, la littérature suggère que «les théories du changement peuvent commencer par un programme, mais sont meilleures quand on commence par un objectif, avant de décider quelles approches programmatiques sont nécessaires». (voir la présentation de l'AEA partagée dans un post précédent)

Ainsi, le point de départ de la TdC devrait idéalement être des objectifs de développement / humanitaires dans un thème particulier (pauvreté / réduction de la faim, adaptation au changement climatique, développement rural, autonomisation des femmes, sauver des vies) qui ont été identifiés par les principales parties prenantes (généralement le gouvernement, car il nous représente tous, ou les acteurs humanitaires en son absence) pour une zone géographique donnée (pays, état / région, province, district), et non l'objectif spécifique du programme (ou projet).

À titre d'exemple, dans une récente évaluation des contributions de la FAO au développement du secteur alimentaire et agricole au Mexique (http://www.fao.org/evaluation/evaluation-digest/evaluations-detail/en/c/1202316 ), nous avons utilisé les théories du changement du gouvernement mexicain pour cartographier et puis évaluer les contributions de la FAO. Le gouvernement mexicain (membre de l'OCDE) devait en effet légalement élaborer des théories du changement à différents niveaux thématiques et géographiques (national / étatique) dans le cadre de sa planification à long terme (plans nationaux de développement) et à moyen terme (stratégies et programmes) processus, souvent avec des conseils CONEVAL (https://www.coneval.org.mx/Paginas/principal.aspx ). Cela, conjugué au fait que la FAO avait planifié son programme de travail selon les théories du changement du Mexique, a permis à l'évaluation d'évaluer les contributions de la FAO par rapport à ces cadres.

Je me demandais si d'autres collègues avaient expérimenté des TdC de développement ayant des objectifs de développement / humanitaires convenus / possédés localement comme point de départ (et non l'objectif spécifique de l'agence de financement à l'esprit), et s'ils pensaient que c'était une voie réalisable dans leur propre pays / agences.

Meilleures salutations,

Carlos

Cher Elamin,

Merci pour ta question. Il y a quelques années, l'American Evaluation Association a eu une discussion sur ce sujet (ToC vs Logic Models). Vous trouverez ci-dessous un lien vers la présentation faite par Helene Clark (The Center of Theory of Change) au cours de cette session https://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/TOCs…

Meilleures salutations,

Carlos

Chère Silva

Le modèle logique et la ToC ont une signification plus ou moins interchangeable, qui se traduit généralement dans la construction du LogFrame.

Neil pourrait aider à clarifier ce problème de la théorie du changement et son lien avec LogFrame, s'il vous plaît.

Elamin
EU consultant
Lead Evaluation Expert
Nairobi

Merci à tous pour toutes les merveilleuses contributions sur le sujet. J'ai travaillé avec des projets où une TdC a été rédigée lors de la conceptualisation et de la planification du programme et j'ai travaillé avec des projets où il n'y avait pas de TdC. J'ai constaté que lorsqu'il n'y a pas de TdC, les interventions du projet ont tendance à être plus axées sur l'exécution des activités que sur le changement que l'intervention devrait apporter. Dans ce cas, on a l'impression de faire le travail sans la vision. Cependant, avec la TdC présente, l'aspect changement de l'intervention est beaucoup plus prononcé et affecte la façon dont les choses sont faites pendant la mise en œuvre du projet. Les cadres logiques et les chaînes de résultats sont également plus importants. Mais ils sont beaucoup plus utiles lorsque leur conception est également informée par un TdC.

Discours très utile et enrichissant. L'apprentissage sur cette plate-forme sur divers concepts / constructions / questions émergentes de S&E est formidable.

Ce qui me frappe, c'est que nous discutons tous de Theories du Changement comme s'elles étaient «une chose» ....
Parler d'un «logframe» est facile: il ya un format standard à elle
Il peut être légèrement adapté, mais il est assez clair ce qu'il est, comment il ressemble, comment il fonctionne.

Il n’en va pas de même pour les TdC.  Qu’est-ce qu’une TdC est peut être très différent.
Je pense que nous pourrions tous utiliser le même mot, mais ayant quelque chose de très différent à l’esprit ...

Merci Svetlana, Silvia et les autres pour cette intéressante conversation. Nous semblons tous convenir que l'utilisation de la Theorie du Changement (TdC) dans la conceptualisation des programmes et également dans l'évaluation des programmes gagne du terrain. Puisqu'il s'agit d'un phénomène assez récent, au cours de la dernière décennie environ, lorsqu'un grand nombre de programmes et d'organisations ont commencé à intégrer la TdC dans leur façon de travailler, il pourrait être trop tôt pour dire quelle différence cela a fait pour ces programmes / organisations (je n'ai pas trouvé d'étude sur l'impact de l'utilisation des TdC!). À mon avis, d'après mon expérience de travail avec plusieurs programmes et organisations, trois cohortes peuvent exister sur la façon dont la TdC est utilisée:

1. La TdC est devenue profondément ancrée: cette cohorte a utilisé la TdC dans tous les aspects de la planification, de la mise en œuvre et du suivi du programme. Vous conviendrez peut-être que ce ne sera pas une cohorte dominante, disons environ 10% des programmes et des organisations.
2. La TdC est utilisée avec parcimonie / occasionnellement mais toujours de façon quelque peu utile - Il s'agit probablement d'une cohorte dominante (disons 50%), c'est-à-dire qu'une grande proportion des programmes et des organisations utilisent la TdC avec parcimonie mais de manière assez efficace. Ce que cela signifie que la conception du programme inclut la conceptualisation d'une TdC. D'autres examens annuels et évaluations de programme sont basés sur la TdC. La TdC est également constamment improvisée, chaque fois qu'un examen ou une évaluation a lieu dans cette cohorte. Cependant, dans cette cohorte, la motivation de l'utilisation de la TdC est impulsée par l'extérieur et les systèmes de suivi des programmes ne sont pas basés sur une TdC, ce qui limite également la rigueur avec laquelle les examens et les évaluations peuvent être effectués.
3. La TdC est utilisée de manière superficielle: dans cette cohorte, la ToC peut exister ou non. Une TdC peut être conçue comme certains donateurs l'ont exigée mais pas utilisée par la suite. S'il n'y a pas de demande, une TdC peut ne pas exister. Cependant, la TdC peut être développée lorsqu'une évaluation est commandée, généralement par un évaluateur. Le programme ou l’organisation ne connaît toujours pas ou ne voit pas la valeur de la TdC et, par conséquent, ne la «possède» pas.

La situation va évidemment changer à l'avenir, car de plus en plus d'agences et de programmes commencent à tirer profit de l'utilisation d'une TdC. La première et la deuxième cohorte peuvent donc augmenter. Cependant, pour accélérer le changement, je suppose que deux stratégies pourraient être utiles:

1. Renforcer les capacités de conceptualisation des théories du changement de programme: La démonstration de l'utilité de la TdC dépend de la façon dont la TdC est bien conçue, capturant la logique du programme et les réalités du contexte. Les capacités à développer une TdC robuste peuvent être renforcées de plusieurs manières, dont l'une pourrait être de lancer des évaluations de l'évaluabilité des programmes. Les évaluations de l'évaluabilité des programmes ont le potentiel d'améliorer la conception des programmes et les systèmes de S&E associés.
2. Sensibiliser les mandants clés à la TdC - Étant donné que tout changement de pensée et de travail nécessiterait une adhésion, il est évident que la façon de travailler de la TdC exigerait que les mandants clés (donateurs, décideurs, organisations mettant en œuvre des programmes, etc.) comprennent la nécessité de la TdC. Ici, une communauté de pratique comme EvalForward et d'autres peuvent continuer à engager et à faciliter les conversations et à démontrer / montrer comment l'utilisation d'une TdC peut aider à une meilleure conception de programme et à une gestion axée sur les résultats et peut également avoir d'autres avantages.

Chers collègues,

Merci pour vos idées intéressantes, il est formidable de voir un consensus global sur un rôle important que les Theories du Changement jouent dans la pratique de l'évaluation. Tout au long de ma carrière d'évaluation, et plus particulièrement plus récemment, j'en suis venue à apprécier la valeur ajoutée de l'utilisation de le TdC, surtout si elle a été co-créée et/ou déconstruite de manière participative.

En comparaison, j'ai trouvé l'approche TdC particulièrement utile lors de l'évaluation de thèmes transversaux, tels que l'engagement des parties prenantes locales et de la société civile, la gouvernance et le genre. Même en présence de documents qui guident les interventions connexes (semblables aux secteurs), leur mise en œuvre effective devrait tenir compte et intégrer l’engagement de la societé civile, le genre, la responsabilité et la transparence dans le travail d'autres secteurs, équipes, etc. Ainsi, les TdC aident à éclairer les évaluations et à faciliter l'exploration par rapport au processus et aux résultats envisagés, par rapport au cadre et aux modalités opérationnelles existants, à l'intérieur et à l'extérieur de l'organisation.

Dans ces domaines transversaux et parfois au-delà, j'ai aussi constaté que les équipes qui sont évaluées apprécient et accueillent plus souvent les discussions sur la TdC, y compris et parfois avec une appréciation particulière des hypothèses. Une fois posée avec des questions sur la faisabilité dans un environnement habilitant (ou non), la réalisation des raisons pour lesquelles les résultats souhaités n'ont peut-être pas été atteints devient réelle. Par conséquent, après avoir passé par la reconstruction de la TdC, les ambitions et les objectifs sont susceptibles de devenir plus nettes et plus rationalisées la prochaine fois.

Au début de ma carrière dans le secteur du développement, j'ai reçu une étrange demande d'un donateur: pouvez-vous développer le cadre logique de votre programme? C'était en effet une chose étrange à demander trois mois avant la fin de l'intervention. Avec le recul, je reconnais qu'ils essayaient probablement de couvrir leurs traces après avoir sauté certaines étapes du processus d'approbation. À l'époque, avec quelques grognements, nous avons accédé à leur demande en produisant un cadre logique à moitié cuit qui était plausible, mais qui n'était utile à personne. Cela n'a pas aidé à la planification, à la gestion ou à l'évaluation du projet. C'était juste une exigence formelle, une case à cocher. Passons maintenant 20 ans plus tard. Je suis contacté par un bureau de pays qui demande de l'aide. Leur programme phare touche à sa fin et ils veulent notre aide pour préparer une évaluation. Je demande des documents pour comprendre en quoi consiste le programme, mais ce que j'obtiens, ce sont surtout les rapports des donateurs qui montrent l'intervention à travers des lentilles roses. Donc, je suggère "développons une théorie du changement!".

Non, je ne suis pas fou et je ne suis pas devenu le bureaucrate que je redoutais il y a 20 ans (pas tout à fait du moins). Ce que je propose, c'est de s'asseoir ensemble et que le personnel du bureau de pays me raconte son histoire afin que nous puissions le reconstituer pour comprendre ce qu'il a fait, comment et pourquoi. C'est quelque chose que nous faisons régulièrement dans la Région Afrique Orientale et Centrale du Programme Alimentaire Mondial, où les théories du changement sont devenues le pain et le beurre de toute évaluation décentralisée depuis 2018. La poussée initiale pour développer des théories du changement est venue de l'Unité d'évaluation au Bureau Régional, où nous estimions qu'une bonne compréhension du fonctionnement du programme, disponible dans un format facile à partager, fournirait aux évaluateurs externes une bonne longueur d'avance. Progressivement, cet exercice est devenu plus sophistiqué et structuré. Nous avons commencé à prêter plus d'attention aux hypothèses en tant que points de stress où nous pouvons concentrer les questions d'évaluation. Nous avons rendu le processus plus inclusif et participatif, impliquant des parties prenantes externes. Nous avons ajouté une analyse de l'arbre à problèmes et une cartographie des parties prenantes comme étapes propédeutiques avant de concevoir la théorie du changement. Enfin, nous avons décidé de lui donner un nom et nous avons opté pour «l'évaluation de l'évaluabilité», car, entre autres, nous l'utilisons également comme un outil pour décider si une évaluation est souhaitable et réalisable.

Nous avons conduit un certain nombre de ces exercices (14-15? J'ai perdu le compte…) et nous n'arrêtons jamais d'apprendre et d'améliorer notre approche. Dans un cas, nous avons mené une évaluation de l'évaluabilité en collaboration avec un bureau de pays où la direction a été prise entre deux feux entre deux donateurs qui ont demandé des évaluations de leurs subventions respectives mais n'ont pas budgétisé adéquatement les exercices. Lorsque nous avons développé les théories du changement des deux interventions, nous avons commencé à voir des liens entre les voies d'impact qui n'étaient pas visibles simplement en comparant les cadres logiques respectifs. Les deux subventions pourraient être facilement saisies sous une seule théorie globale du changement qui reflétait la réalité de la mise en œuvre sur le terrain où les programmes se fusionnent de manière transparente. Nous avons ensuite proposé de réaliser une évaluation fusionnant les deux lignes budgétaires pour examiner l'intervention globale, en mettant en évidence les complémentarités et les synergies. Devine quoi? Ça a marché!

L'un des beaux aspects des Théories du Changement est que nous n'avons pas besoin de les développer à un moment précis. Les TdC sont utiles au début, au milieu ou à la fin d'une intervention. Leur utilisation et leurs applications principales seront légèrement différentes, mais il n'est jamais trop tard pour en développer une. Si vous le faites au début, vous pouvez vous concentrer davantage sur le développement d'une compréhension commune du fonctionnement du programme et poursuivre des collaborations plus actives entre les différentes couches et composantes du programme. Il peut éclairer l'élaboration d'indicateurs de suivi, aider au suivi des risques et des mesures d'atténuation, sans parler de la conception des évaluations transversales. Développé vers la fin, il a toujours une valeur incroyable pour éclairer la conception de l'évaluation et les questions d'évaluation clés auxquelles vous souhaitez répondre.

Une mesure du succès de cette approche est que nous recevons maintenant des demandes d'appui des bureaux de pays pour l'élaboration des théories du changement, même en l'absence d'évaluation dans leurs plans. Ils voient la valeur de cet exercice. Ils comprennent comment cela aide à formaliser leur pensée collective en une représentation visuelle facile à saisir. Peu importe si la demande arrive avant la livraison du premier « bol de bouillie » ou trois mois avant la fin du programme, il n'est jamais trop tôt ni trop tard pour concevoir une théorie du changement.

Chers collègues,

Merci pour vos contributions très intéressantes. Si quelqu'un pouvait apporter des exemples spécifiques d'application de la TdC, dans les pays en développement ou développés, et souligner combien cela était utile pour le programme évalué, ce serait formidable

Chers collègues,

Merci pour vos contributions très intéressantes. Si quelqu'un pouvait apporter des exemples spécifiques d'application de la TdC, dans les pays en développement ou développés, et souligner combien cela était utile pour le programme évalué, ce serait formidable

Chers tous,

Je suis très d'accord avec les commentaires de Silvia, et si vous me le permettez, j'aimerais ajouter quelques remarques.

Je pense qu'il serait raisonnable de soutenir que l'objectif fondamental de l'évaluation serait de vérifier si une action, un projet par exemple, a réussi à contribuer à la qualité de vie de son groupe cible.

Cette amélioration de la qualité de vie peut être apportée en leur permettant de satisfaire l’un ou plus de leurs besoins fondamentaux. La nutrition est l'un de ces besoins. Sa satisfaction dépend évidemment de la disponibilité et de l'abordabilité des aliments locaux sains, qui à leur tour dépendent de l'adéquation du système alimentaire local. Il en va de même pour l'ensemble des besoins associés aux autres besoins fondamentaux.

Souvent, la satisfaction adéquate d'un besoin fondamental exige la satisfaction préalable des besoins associés à la satisfaction d'un autre besoin fondamental. Par exemple, une alimentation adéquate dépend souvent du transport des aliments. Le transport devient ainsi une nécessité non seulement pour une nutrition adéquate, mais aussi pour d'autres besoins fondamentaux comme l'éducation, la santé, la sécurité, etc.

Donc, je pense qu'une approche empirique holistique pour évaluer/vérifier l'exhaustivité d'un projet au cours de l'étape de planification serait essentielle pour le succès de toute action. Après tout, nous entreprenons un projet pour apporter un changement souhaité, par example pour améliorer la qualité de vie d'un groupe d'une certaine manière. Ce n'est pas théorique, et c'est éminemment pratique. Idéalement, il devrait être proactif, mais il y a trop de choses en dessous du pair aujourd'hui pour y penser.

Le groupe cible est censé prendre en charge dans une certaine mesure la gestion et l'entretien d'un projet. Ils ne sont pas un isolat, mais une partie d'une communauté plus vaste. Il est donc important de vérifier si le groupe cible et/ou la communauté à laquelle il appartient sont en mesure de poursuivre le bon fonctionnement du projet à sa fin.

Je pense que les variables impliquées ici sont tout simplement trop nombreuses pour être prises en compte par n'importe quelle norme théorique. Même après avoir établi son impact environnemental et social en fonction de son résultat et des outils qu'un projet propose d'utiliser, ainsi que de la volonté et de la capacité d'une communauté de les utiliser avec suffisamment de compétences, il y a beaucoup plus d'impondérables auxquels on devra faire face. Ceux-ci doivent être examinés sur place.

Récemment, j'ai été aux prises avec une série de questions similaires, alors merci, Carlos, de les avoir posées. En me basant sur mon expérience dans l'organisation de plusieurs ateliers TdC, je dirais que c’est une approche utile de l'évaluation. La valeur est réalisée principalement dans son processus, de rassembler les participants de diverses disciplines et secteurs, de co-cartographier les changements des systèmes, d'identifier les domaines où le programme pourrait influencer les voies de changement et de mettre en évidence les domaines prioritaires pour le suivi. Cependant, un contexte important est que beaucoup de ces participants n'ont jamais entendu parler de TdC auparavant (et cela n'aide pas que TdC ne traduise pas bien dans différentes langues), donc une certaine valeur pourrait être attribuée à sa nouveauté. Quoi qu'il en soit, alors que d'autres outils de planification auraient peut-être également été appropriés, je trouve que les TdC sont particulièrement utiles pour les programmes qui ont de multiples composants en interaction, des perspectives de parties prenantes diverses et une incertitude des résultats, qui sont caractéristiques de nombreuses initiatives de sécurité alimentaire aujourd'hui.

Effectivement, l'utilisation de la théorie du changement est venue améliorer les techniques de planification et d'évaluation des projets de développement. Elle nous a fait passer du cadre logique (en tant qu'outil) et de la Gestion axée sur les résultats (GAR) à la Gestion axée sur les résultats de développement (GRD) et l'importance désormais accordée à la redevabilité. La GRD permet désormais de se focaliser surtout sur les effets et impacts sur le bien-être des populations, au lieu de se focaliser juste sur les extrants dans le cadre de la GAR. L'intérêt est désormais de mettre l'accent sur les changements intervenus sur le bien-être des populations et d'instaurer la redevabilité qui est l'obligation de rendre compte de l'exercice d'une responsabilité ou le droit pour les bénéficiaires des actions de réclamer et d'exiger. L'amélioration du bien-être des populations est mieux mesurée avec l'utilisation de la théorie du changement, si bien que l'impact des projets est plus grand et plus tangible. L'utilisation de la théorie du changement oblige et oriente vers l'effort de réponse à la demande croissante de redevabilité publique vis-à-vis des citoyens, aussi bien dans les pays développés que dans les pays en développement, afin qu'ils soient informés sur la manière avec laquelle l'aide est utilisée, les résultats enregistrés et dans quelle mesure ces résultats apportent les changements souhaités au développement humain durable, et non plus au développement tout court.

D'après mon expérience, les théories du changement restent un concept mythique dans l'esprit de plusieurs praticiens du développement sur le terrain, premièrement parce qu'elles sont perçues comme un outil axé sur la conformité forcée par les donateurs et les bailleurs de fonds et deuxièmement, elles sont généralement développées par des consultants ou des technocrates avec peu d'implication du personnel d'exécution.

Le personnel chargé de la mise en œuvre assume généralement le rôle de comprendre ce qui est nécessaire pour suivre les hypothèses de la TdC et vous verrez rarement la TdC en fonctionnement au-delà de la présence dans le document de proposition de projet. Les équipes de mise en œuvre font rarement référence à la TdC, peut-être parce qu'il peut y avoir des difficultés à intégrer les concepts de la TdC dans les opérations quotidiennes ou qu'elle est peut être trop complexe pour le personnel de terrain de s'engager.

Je vois donc un décalage entre le but recherché de la TdC dans l'orientation de la programmation et de l'impact et sa réalisation dans la pratique. En outre, il existe une approche unique pour la présentation de la ToC qui, je pense, pourrait être un autre défi. D'une part, nous voulons que la TdC tienne sur une seule page, très simplifiée et facile à conceptualiser, presque trop simpliste pour les réalités du monde réel. Mais c'est ce qui le rend plus facile à digérer et à comprendre, ce qui est excellent pour les décideurs et les publics de haut niveau. Cependant, pour les implémenteurs, le détail compte tellement, mais nous laissons souvent simplement la TdC à cette présentation agréable et brillante de haut niveau et nous attendons à ce que les implémenteurs travaillent une forme de magie pour traduire cela en une livraison logique des interventions selon les hypothèses conceptuelles sans les nécessaires explorations détaillées et déballage de la ToC. Les bailleurs de fonds ne demandent pas cela, les exécutants en ont besoin, de sorte qu'il est souvent laissé de côté et la mise en œuvre du projet se poursuit avec peu ou pas de référence à la TdC.

La seule fois où la question de la TdC sera réexaminée est peut-être lorsque l'évaluation du projet cherche à tester ces hypothèses en supposant également que la mise en œuvre a été guidée par ces hypothèses qui, nous le savons, n’est pas toujours le cas.

Chers membres,

Je contribue à la nouvelle discussion lancée par notre collègue Carlos Tarazona.

M'appuyant sur mon expérience, les cadres logiques et les chaînes de résultats sont des outils de planification qui peuvent aider à la phase de formulation de toute action de développement axée sur les résultats (ou basée sur les résultats), même s'il s'agit d'une politique, d'un programme ou d'un projet. Cependant, ces outils nécessitent la plupart du temps une forte expertise technique pour les utiliser de manière plutôt professionnelle et parvenir à une formulation solide d'une action de développement donnée. Cela dit, la plupart des praticiens du développement n'ayant aucune idée de ces outils de planification et de formulation peuvent encourir le risque de ne pas comprendre suffisamment le cadre logique ou la chaîne de résultats de «leur» action de développement.

Vient ensuite l'utilisation de «modèles logiques» ou de «théories du changement» notamment lors de la phase de mise en œuvre - et surtout lors de la phase d'évaluation - d'une action de développement donnée. Dans ce cas, les membres de l'équipe de mise en œuvre se réuniront au début de la phase de mise en œuvre pour «dessiner» un «modèle logique» ou une «théorie du changement» afin de comprendre comment l'action de développement évoluera dans son domaine de mise en œuvre et comment le «cadre logique» ou la «chaîne de résultats» de cette action de développement se déroulera en réalité dans une série de relations de cause à effet entre ses différents éléments, passant des «ressources / intrants» aux «activités» aux «extrants», aux «résultats» puis à «l'impact». Dessiner le «modèle logique» ou la «théorie du changement» d'une action de développement - exprimée dans un dessin ou dans un texte - aidera les praticiens du développement à traduire le «cadre logique» ou la «chaîne de résultats» d'une manière plus expressive et plus facile de dévoiler et de comprendre la «stratégie de changement» de cette action de développement. Les conséquences d'une telle entreprise sont: (1) une meilleure compréhension de la stratégie de mise en œuvre des actions de développement; (2) beaucoup d'informations pour une meilleure programmation des activités d'actions de développement; et (3) la mise en place d'un solide système de suivi et d'évaluation de cette action de développement.

Cependant, ce n'est pas le cas général où un «modèle logique» ou une «théorie du changement» est préparé au début de la phase d'implantation; certaines actions de développement ont pris tellement de temps pendant la phase de formulation que l'agence bénéficiaire se précipiterait pour commencer la mise en œuvre. Et voici la deuxième situation de l'utilisation de «modèles logiques» et de «théories du changement» lors de la phase d'évaluation. Un bon exercice d'évaluation pour une action de développement donnée reposerait certainement sur un «modèle logique» ou une «théorie du changement» qui peut aider les évaluateurs à comprendre ce que cette action de développement était censée faire - au moins dans la tête des personnes qui formulent - et à comparer avec ce que l’action de développement a vraiment fait. Si un «modèle logique» ou «théorie du changement» d'une action de développement a été élaboré au début de la phase de mise en œuvre, il doit être utilisé et peut-être amélioré à condition qu'il soit validé par l'équipe de mise en œuvre. Si ce n'est pas le cas, la première tâche des évaluateurs serait d'élaborer un «modèle logique» ou une «théorie du changement» pour l'action de développement «évaluateur» afin de définir les différentes voies qui devraient être examinées pendant l'exercice d'évaluation (paramètres , indicateurs, données à collecter, etc.).

À la fin, je dirais que le débat ne devrait pas être de savoir s'il faut utiliser un «cadre logique» ou une «chaîne de résultats», d'un côté, ou un «modèle logique» ou une «théorie du changement»; le débat doit porter sur la valeur ajoutée en utilisant différentes méthodes et techniques pour assurer une bonne mise en œuvre et une bonne évaluation d'une action de développement donnée. En bref, il ne s'agit pas de ceci ou de cela, mais plutôt de ceci et cela.

J'espère que cela aides…

Mustapha

L'afflux de TdC a vu des non-professionnels de l'agriculture dominer le paysage de l'agriculture où les qualifications et les antécédents non liés à l'agriculture décident et contrôlent l'agriculture. Cela est plus inquiétant dans le domaine de la vulgarisation agricole et de la diffusion des technologies, où les soi-disant professionnels rassemblent simplement les gens pour prétendre qu'il s'agit de la prestation de services de vulgarisation agricole.

Je détiens des connaissances techniques approfondies (qualification agricole) sacro-saintes en gestion de projet ainsi qu'en suivi et évaluation sans lesquels le projet ne réalisera jamais le plein impact potentiel.

Une question est si dans le secteur de l'agriculture et de la sécurité alimentaire des pays développés ainsi que de la gestion des ressources naturelles, y a-t-il une cacophonie de bruits de TdC comme celui-ci pour les amener là où ils sont et les maintenir?

Chers Carlos et Chers membres,

Merci de recevoir ma modeste contribution.

Quelle est votre expérience de l'utilisation des théories du changement?

Je viens de faire 1 an à la FAO en tant que responsable du suivi et de l'évaluation dans le cadre du programme GAFSP Missing Middle Initiative. J'ai appris beaucoup de choses à travers you@FAO dans la formation sur les directives de S&E de la FAO. Je pense que la FAO a une solide expérience en évaluation avec de nombreux cas pratiques. Si je ne me trompe pas, la TdC n'est pas un outil très populaire.

Dans mes expériences précédentes en tant que responsable du suivi et de l'évaluation, nous avons utilisé la TdC pour la communication sur le projet ou le programme mais aussi pour partager la logique d'intervention du projet avec les parties prenantes (partenaires, bénéficiaires, etc.) afin de promouvoir la revue critique concentrée sur les points clés du projet. C'est un outil demandé par plusieurs bailleurs de fonds de formats différents, sous forme de diagramme ou de tableau qui respecte toujours la même logique à court terme pour les résultats directs, à moyen terme pour les effets et à long terme pour les impacts. Le but attendu serait de développer une phrase résultante, c'est-à-dire la théorie qui, dans un texte simple, explique le projet ou le programme en complexité.

Quelle est la principale valeur ajoutée de ces théories, selon vous?

À la FAO, j'ai découvert dans les documents de projet que l'accent était davantage mis sur les cadres logiques et les cadres de résultats, qui sont également des outils aussi pertinents que la TdC mais très complexes pour la communication. La TdC peut être un outil qui englobe ces deux autres outils tout en permettant une lecture sur la logique d'intervention et la pertinence des activités ou actions à mener. La ToC retrace la réponse des problèmes aux résolutions. S'il s'agit d'un programme, la TdC est le meilleur outil pour définir une vision mais aussi pour planifier une mise à l'échelle participative.

Dans le cadre du GAFSP MMI Sénégal, j'avais pris l'initiative en m'inspirant du Global ToC du GAFSP MMI de définir un ToC spécifique au projet qui s'aligne sur ce programme mondial tout en s'inscrivant au PNUAD (Programme national des Nations Unies pour le développement) et au CPP 2019-2023 . Sous forme de tableau, l'outil avait facilité la lecture de l'intervention et nous avons également conduit à une révision du cadre logique avec l'intégration de nouveaux résultats prenant en compte la dimension de genre. partagés avec les partenaires, en une seule phrase, nous avons harmonisé notre compréhension de la logique d'intervention du projet. cet outil a également conduit à l'élaboration d'une ligne directrice S&E qui prend en compte toutes les dimensions des résultats du projet.

Selon vous, les théories du changement ont-elles fait une différence dans les programmes et projets que vous avez évalués, en particulier par rapport à d'autres outils de planification tels que les cadres logiques et les chaînes de résultats?

La TdC est un outil stratégique pour les évaluations de projets ou de programmes. Au-delà des résultats définis dans le cadre logique ou de résultats, dans une évaluation, la TdC permet de définir des contributions à des macro-indicateurs se référant à des politiques ou programmes plus larges qui incluent une intervention. Avec la TdC, nous avons souvent identifié des facteurs pour une intervention réussie au-delà des résultats attendus par rapport à la situation de référence dans la zone d'intervention. C'est un outil qui dans une évaluation permet de voir les thèmes transversaux et la chaîne justifiant la contribution du projet.

À mon humble avis, je pense que la FAO doit définir une théorie du changement de la faim zéro (si elle n'existe pas). Cette théorie s'inspirera des représentations pour définir les théories de leurs programmes pays et enfin de ces théories des programmes pays s'inspireront des théories du changement propres à chaque projet. Ce travail contribuera à améliorer la logique d'intervention et facilitera grandement les évaluations à tous les niveaux. Comme le FPMIS pour le suivi budgétaire, un tel portail pourrait être développé pour suivre les changements. Tous les programmes et projets peuvent être inclus dans ce portail avec un alignement des résultats attendus et des changements attendus sur les changements qui définissent la faim zéro dans sa globalité.

Cela dépend de ce qu'est une théorie du changement et de la façon dont elle a été générée / partagée.

S'elle reste la même qu'un gros cadre logique, cachée dans certaines propositions ... il n'ajoute pas beaucoup de valeur.

S’elle est co-générée et détenue ... possiblement ÉMERGENTE du processus de changement, alors c'est une valeur ajoutée.

En tant qu'évaluatrice, je constate que le personnel sur le terrain accueille favorablement les discussions au niveau de la théorie du changement lorsqu'elles aident à systématiser l'expérience.

Mais il pourrait être désemparés et confondus en tant que les TdC sont annexes aux propositions.

Donc, si la théorie du changement n'est que de la bureaucratie, c'est en fait une complication.

S'il s'agit d'un processus de systématisation de l'expérience, détenu par ceux qui participent au changement, il est super utile.

Malheureusement, ces derniers sont très rares.