Bonne année 2021 à vous et à tous nos collègues de la plate-forme !
Merci d'avoir soulevé une question critique et très intéressante qui mérite d'être examinée en tant qu'évaluateurs. Je suis sûr que je ne peux pas rendre justice aux points importants que vous avez soulevés, mais au moins je peux partager mes deux cents. J'espère que mes collègues continueront à venir pour une discussion plus riche.
Il est vrai que nous partons du principe que nous comprenons les questions qui touchent les communautés locales. Nous concevons donc des interventions pour répondre à leurs besoins. Je suis tout à fait d'accord avec vous. Il y a des facteurs importants qui sont inconnus au stade de la conception des interventions de développement. Lorsque l'on sait peu de choses empiriquement et théoriquement sur une communauté, on ne peut pas faire grand-chose et on ne peut pas obtenir grand-chose. Idéalement, nous devons connaître les inconnues pour concevoir des interventions appropriées et mieux servir les communautés cibles. Mais il est regrettable que cela ne fonctionne pas tout le temps comme ça, ce n'est pas linéaire, surtout à l'époque de la pandémie. Nous nous basons sur ce que nous savons pour faire quelque chose. Dans ce processus, nous apprenons quelque chose de nouveau (c'est-à-dire des preuves) qui nous aide à redéfinir notre conception et notre mise en œuvre. La complexité de notre époque, aggravée par la COVID-19, a poussé tous les évaluateurs à repenser leurs conceptions et leurs méthodes d'évaluation. Ce serait un euphémisme de souligner que nous connaissons tous les implications de l'éloignement social (je préfère personnellement l'éloignement physique). Imaginez une intervention conçue par une chaîne de résultats en face à face comme hypothèse sous-jacente pour atteindre le changement souhaité ! Sans repenser sa théorie du changement (TdC), la logique qui sous-tend une telle intervention risque de ne pas tenir la route. Ce scénario peut s'appliquer et prouver à juste titre que nous avons besoin d'une TdC évolutive dans le temps. Selon mon point de vue et ma pratique professionnelle, ma réponse est affirmative. Nous avons besoin d'une TdC qui évolue dans le temps et qui soit fondée sur des preuves. Nous utilisons des hypothèses parce que nous n'avons pas de preuves, n'est-ce pas ?
Pour que la TdC reste intacte pendant toute la durée de vie d'un projet, il faut que la plupart des hypothèses sous-jacentes et la chaîne logique soient connues à l'avance et restent constantes. C'est rarement le cas. Je crois que le changement des TdC ne nuit pas mais au contraire maximise ce que nous apprenons pour mieux faire et pour le bénéfice des communautés. Considérons ce scénario : supposons que X produits mènent à Y résultats. Plus tard, on découvre que les facteurs A et B contribuent également, et de manière plus significative, à Y que leurs hypothèses initiales sur les résultats X. Ne pas tenir compte des facteurs A et B saperait la logique de l'intervention ; cela nuit à notre capacité à mesurer les résultats. Je n'ai pas utilisé la cartographie des résultats dans la pratique, mais le sujet à l'étude nous rappelle son utilité. Peu de praticiens du développement croiraient que les parcours de "changement" sont imparfaits. En revanche, je suppose que beaucoup d'entre eux croiraient à l'histoire de l'échec de la TdC (d'ailleurs, je déteste utiliser le mot "échec"). Le manque d'appétit des praticiens du développement pour tenir compte d'autres facteurs dans la TdC qui évolue avec le temps, lorsque des preuves sont disponibles, est peut-être la cause de cet échec. En fin de compte, l'évaluation peut aboutir à des résultats positifs et/ou négatifs qui sont contre-intuitifs, ou qui ne peuvent être liés à aucune composante de l'intervention. Cela semble étrange, je suppose, simplement parce qu'il y a des éléments de preuve qui ont émergé et n'ont pas été intégrés dans la logique de l'intervention.
Avec ce qui précède, un projet localisé serait un projet aux couleurs locales. Avec des tailles et des formes différentes, tous venant jouer la place qui leur revient. Cela ne signifie pas qu'il faille être trop ambitieux (trop de couleurs peuvent brouiller la vision, je plaisante, mais peu importe, je porte des lunettes !) Un projet qui découvre de nouvelles preuves doit les intégrer dans le parcours d'apprentissage. Un tel projet a plus de chances d'atteindre les résultats souhaités. Compte tenu de l'évolution du contexte, un projet dont la TdC est statique a plus de chances de perdre sa pertinence avec le temps.
À mon avis, une TdC doit être dynamique ou flexible dans un contexte complexe et évolutif. Existe-t-il un contexte de développement qui peut être totalement statique pendant un certain temps ? Je pense que non. Cela me rappelle les théories des systèmes et les théories de la complexité sans lesquelles nous tomberions facilement dans le piège de la linéarité. À mon avis, il n'y a pas de mal à commencer par des hypothèses, mais lorsque des preuves apparaissent, nous devrions être en mesure d'intégrer de nouvelles preuves dans la théorie de la mise en œuvre et la théorie des programmes qui, si elles sont combinées, peuvent constituer la totalité des TdC pour les interventions de développement. Les projets ne sont plus examinés en vase clos (je suppose que nous avons vu la cohérence comme un nouveau critère d'évaluation du CAD de l'OCDE !) À mon avis, il est nécessaire de comprendre l'ensemble du tableau (c'est-à-dire les connaissances actuelles et futures) pour en tirer profit (c'est-à-dire les connaissances actuelles uniquement). Mais la compréhension d'une seule partie est moins susceptible de profiter à l'ensemble.
Les défis liés à l'évolution des TdC sont liés aux évaluations d'impact, principalement les essais de contrôle aléatoires. Avec l'évolution de la TdC, les composantes des essais de contrôle aléatoires ou des bras d'étude deviendront floues et la contamination incontrôlable. Dans le jargon statistique, la variance inexpliquée sera plus importante que nécessaire. Bien qu'il existe des laboratoires pour les sciences naturelles et physiques, je crois qu'il y a peu, voire aucun, laboratoire fiable pour les sciences sociales et comportementales. L'avantage de savoir comment naviguer dans des TdC complexes est que l'on peut en tirer les leçons appropriées et générer des preuves moins discutables sur l'impact des projets de développement.
Je suppose que je fais partie de ceux qui s'intéressent à la compréhension de la complexité et de ses ramifications en matière de TdC et d'évaluation du développement. J'ai hâte d'apprendre comment le Big Data peut et va faire la lumière sur l'image généralement complexe du développement, en brisant les silos de linéarité. Comme nous avons de plus en plus besoin d'un mélange de méthodes pour comprendre et mesurer l'impact ou le changement résultant des interventions de développement, il en va de même pour la TdC. Linéaire, la TdC peut éventuellement trahir le contexte dans lequel une intervention a lieu. Multiligne ou curviligne et évoluant dans le temps, la TdC est plus susceptible de représenter l'image réelle mais changeante des communautés locales.
Je voudrais terminer par une citation :
"Les décideurs politiques du XXIe siècle au Royaume-Uni sont confrontés à un ensemble de défis impressionnants : une société vieillissante, les promesses et les menaces pour l'emploi et la création de richesse de l'intelligence artificielle, l'obésité et la santé publique, le changement climatique et la nécessité de préserver notre environnement naturel, et bien d'autres encore. Ce que ces types de défis politiques [et d'intervention en matière de développement] ont en commun, c'est la complexité". Source : Livre magenta 2020
Tout évolue dans un contexte complexe qui doit être reconnu comme tel et pris en compte dans nos interventions de développement.
Une fois de plus, merci à John et à ses collègues d'avoir apporté et discuté de ce sujet important.
RE: Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?
Cher John,
Bonne année 2021 à vous et à tous nos collègues de la plate-forme !
Merci d'avoir soulevé une question critique et très intéressante qui mérite d'être examinée en tant qu'évaluateurs. Je suis sûr que je ne peux pas rendre justice aux points importants que vous avez soulevés, mais au moins je peux partager mes deux cents. J'espère que mes collègues continueront à venir pour une discussion plus riche.
Il est vrai que nous partons du principe que nous comprenons les questions qui touchent les communautés locales. Nous concevons donc des interventions pour répondre à leurs besoins. Je suis tout à fait d'accord avec vous. Il y a des facteurs importants qui sont inconnus au stade de la conception des interventions de développement. Lorsque l'on sait peu de choses empiriquement et théoriquement sur une communauté, on ne peut pas faire grand-chose et on ne peut pas obtenir grand-chose. Idéalement, nous devons connaître les inconnues pour concevoir des interventions appropriées et mieux servir les communautés cibles. Mais il est regrettable que cela ne fonctionne pas tout le temps comme ça, ce n'est pas linéaire, surtout à l'époque de la pandémie. Nous nous basons sur ce que nous savons pour faire quelque chose. Dans ce processus, nous apprenons quelque chose de nouveau (c'est-à-dire des preuves) qui nous aide à redéfinir notre conception et notre mise en œuvre. La complexité de notre époque, aggravée par la COVID-19, a poussé tous les évaluateurs à repenser leurs conceptions et leurs méthodes d'évaluation. Ce serait un euphémisme de souligner que nous connaissons tous les implications de l'éloignement social (je préfère personnellement l'éloignement physique). Imaginez une intervention conçue par une chaîne de résultats en face à face comme hypothèse sous-jacente pour atteindre le changement souhaité ! Sans repenser sa théorie du changement (TdC), la logique qui sous-tend une telle intervention risque de ne pas tenir la route. Ce scénario peut s'appliquer et prouver à juste titre que nous avons besoin d'une TdC évolutive dans le temps. Selon mon point de vue et ma pratique professionnelle, ma réponse est affirmative. Nous avons besoin d'une TdC qui évolue dans le temps et qui soit fondée sur des preuves. Nous utilisons des hypothèses parce que nous n'avons pas de preuves, n'est-ce pas ?
Pour que la TdC reste intacte pendant toute la durée de vie d'un projet, il faut que la plupart des hypothèses sous-jacentes et la chaîne logique soient connues à l'avance et restent constantes. C'est rarement le cas. Je crois que le changement des TdC ne nuit pas mais au contraire maximise ce que nous apprenons pour mieux faire et pour le bénéfice des communautés. Considérons ce scénario : supposons que X produits mènent à Y résultats. Plus tard, on découvre que les facteurs A et B contribuent également, et de manière plus significative, à Y que leurs hypothèses initiales sur les résultats X. Ne pas tenir compte des facteurs A et B saperait la logique de l'intervention ; cela nuit à notre capacité à mesurer les résultats. Je n'ai pas utilisé la cartographie des résultats dans la pratique, mais le sujet à l'étude nous rappelle son utilité. Peu de praticiens du développement croiraient que les parcours de "changement" sont imparfaits. En revanche, je suppose que beaucoup d'entre eux croiraient à l'histoire de l'échec de la TdC (d'ailleurs, je déteste utiliser le mot "échec"). Le manque d'appétit des praticiens du développement pour tenir compte d'autres facteurs dans la TdC qui évolue avec le temps, lorsque des preuves sont disponibles, est peut-être la cause de cet échec. En fin de compte, l'évaluation peut aboutir à des résultats positifs et/ou négatifs qui sont contre-intuitifs, ou qui ne peuvent être liés à aucune composante de l'intervention. Cela semble étrange, je suppose, simplement parce qu'il y a des éléments de preuve qui ont émergé et n'ont pas été intégrés dans la logique de l'intervention.
Je suppose que je fais partie de ceux qui s'intéressent à la compréhension de la complexité et de ses ramifications en matière de TdC et d'évaluation du développement. J'ai hâte d'apprendre comment le Big Data peut et va faire la lumière sur l'image généralement complexe du développement, en brisant les silos de linéarité. Comme nous avons de plus en plus besoin d'un mélange de méthodes pour comprendre et mesurer l'impact ou le changement résultant des interventions de développement, il en va de même pour la TdC. Linéaire, la TdC peut éventuellement trahir le contexte dans lequel une intervention a lieu. Multiligne ou curviligne et évoluant dans le temps, la TdC est plus susceptible de représenter l'image réelle mais changeante des communautés locales.
Je voudrais terminer par une citation :
"Les décideurs politiques du XXIe siècle au Royaume-Uni sont confrontés à un ensemble de défis impressionnants : une société vieillissante, les promesses et les menaces pour l'emploi et la création de richesse de l'intelligence artificielle, l'obésité et la santé publique, le changement climatique et la nécessité de préserver notre environnement naturel, et bien d'autres encore. Ce que ces types de défis politiques [et d'intervention en matière de développement] ont en commun, c'est la complexité". Source : Livre magenta 2020
Tout évolue dans un contexte complexe qui doit être reconnu comme tel et pris en compte dans nos interventions de développement.
Une fois de plus, merci à John et à ses collègues d'avoir apporté et discuté de ce sujet important.
Restez en bonne santé et en sécurité.
Jean Providence