Jean Providence [user:field_middlename] Nzabonimpa

Jean Providence Nzabonimpa

Monitoring and Evaluation Officer
United Nations Integrated Strategy for the Sahel
Senegal

En savoir plus sur moi

Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.

With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, public health, and capacity development, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is SCRUMMaster certified, Core Humanitarian Certified, ATLAS.ti certified professional trainer, and a certified peer-reviewer.

    • Cher Gordon et collègues,

      Avant de partager mon point de vue, prenons l'exemple d'une expérience vécue. Avec une équipe de 4 évaluateurs, j'ai participé à l'évaluation d'un projet de cinq ans. En tant qu'évaluateurs, quelques collègues ont co-conçu l'évaluation et collecté les données. Nous avons uni nos forces lors de l'analyse et de l'élaboration du rapport et nous nous sommes retrouvés avec un gros rapport d'environ 180 pages. Je n'ai jamais connu d'adeptes de gros rapports, je ne le suis pas non plus. Pour être honnête, très peu de gens prendraient le temps de lire d'énormes rapports d'évaluation. Si un évaluateur est moins susceptible de lire (une fois finalisé) un rapport qu'il a produit, qui d'autre le lira ? Passons aux recommandations. Au stade du rapport, nous avons souligné les changements (ou l'absence de changements) ; nous avons signalé les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. Nous avons laissé le soin à l'équipe de mise en œuvre du projet, qui a fait appel à un responsable politique, de rédiger conjointement des recommandations exploitables. Comme vous pouvez le constater, nous avons intentionnellement évité la pratique établie selon laquelle les évaluateurs rédigent toujours des recommandations.

      Notre rôle était de veiller à ce que toutes les conclusions ou résultats importants soient traduits en recommandations exploitables. Nous avons soutenu l'équipe de mise en œuvre du projet pour qu'elle reste aussi proche que possible des preuves et des idées de l'évaluation. Comment mettriez-vous à l'échelle un projet qui a produit ce changement (pour les résultats positifs) ? Que feriez-vous différemment pour atteindre le changement souhaité sur ce type d'indicateurs (domaines à améliorer) ? Attention, je n'utilise pas le mot "négatif" à côté des résultats. Comment vous y prendriez-vous pour obtenir les résultats souhaités ? Ces questions ont permis d'aboutir à des recommandations concrètes.

      Nous avons veillé au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. En fin de compte, l'équipe était propriétaire des recommandations tandis que l'équipe d'évaluation était propriétaire des résultats empiriques. Les résultats de l'évaluation ont éclairé chaque recommandation. Dans l'ensemble, il s'agissait d'un rapport d'évaluation produit conjointement. C'est quelque chose que nous avons fait pour cette évaluation et qui s'est avéré efficace dans d'autres évaluations. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs.

      Dans mon autre vie d'évaluateur, ces recommandations sont regroupées dans un suivi d'action - Action Tracker -  (en MS Excel ou tout autre format) afin de contrôler au fil du temps la manière dont elles sont mises en œuvre. C'est la pratique en vigueur dans les institutions qui sont très attachées à la responsabilité et à l'apprentissage ou qui demandent des comptes à leur personnel et aux projets qui ne respectent pas ces normes. Pour chaque recommandation, il y a un calendrier, la personne ou le service responsable, le statut (mis en œuvre, non mis en œuvre ou en cours) et la voie à suivre . Notez que l'une des recommandations concerne le partage et l'utilisation des résultats de l'évaluation, ce qui nécessite un travail supplémentaire après la rédaction du rapport d'évaluation. Simplifier le rapport dans un langage et un format adaptés au public, inspiré des notes politiques de deux pages, une note d'évaluation ou une brochure d'évaluation basée sur des thèmes spécifiques qui ont émergé de l'évaluation. J'ai vu une telle pratique relativement utile pour deux raisons :

      (i) les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques

      (ii) l'équipe de mise en œuvre dispose d'une opportunité pour aligner ses voix et ses connaissances de l'évaluation sur les résultats de l'évaluation.

      (iii) la fin d'une évaluation n'est pas, et ne devrait pas être la finalisation de l'évaluation, d'où la nécessité pour les institutions de suivre la manière dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, des prises de décision ou des politiques, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.

      L'institutionnalisation de l'utilisation des données de l'évaluation prend du temps. Les changements structurels (au niveau supérieur) ne se produisent pas du jour au lendemain et ne surgissent pas du néant, mais il existe des étapes modestes mais sûres pour initier des changements à partir de la base. Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Sinon, ne supposez pas, utilisez les faits et la culture de l'organisation. Créez de petites alliances et relations en faveur de l'utilisation des données probantes, et intégrez progressivement des parties prenantes plus "influentes". Mettez en évidence les avantages des données probantes et leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.

      Voilà ma contribition à cette discussion.

      Je laisse la parole à mes collègues pour qu'ils apportent leurs contributions et leurs commentaires à cette importante discussion.

      Jean Providence

    • Cher John,

      Bonne année 2021 à vous et à tous nos collègues de la plate-forme !

      Merci d'avoir soulevé une question critique et très intéressante qui mérite d'être examinée en tant qu'évaluateurs. Je suis sûr que je ne peux pas rendre justice aux points importants que vous avez soulevés, mais au moins je peux partager mes deux cents. J'espère que mes collègues continueront à venir pour une discussion plus riche.

      Il est vrai que nous partons du principe que nous comprenons les questions qui touchent les communautés locales. Nous concevons donc des interventions pour répondre à leurs besoins. Je suis tout à fait d'accord avec vous. Il y a des facteurs importants qui sont inconnus au stade de la conception des interventions de développement. Lorsque l'on sait peu de choses empiriquement et théoriquement sur une communauté, on ne peut pas faire grand-chose et on ne peut pas obtenir grand-chose. Idéalement, nous devons connaître les inconnues pour concevoir des interventions appropriées et mieux servir les communautés cibles. Mais il est regrettable que cela ne fonctionne pas tout le temps comme ça, ce n'est pas linéaire, surtout à l'époque de la pandémie. Nous nous basons sur ce que nous savons pour faire quelque chose. Dans ce processus, nous apprenons quelque chose de nouveau (c'est-à-dire des preuves) qui nous aide à redéfinir notre conception et notre mise en œuvre. La complexité de notre époque, aggravée par la COVID-19, a poussé tous les évaluateurs à repenser leurs conceptions et leurs méthodes d'évaluation. Ce serait un euphémisme de souligner que nous connaissons tous les implications de l'éloignement social (je préfère personnellement l'éloignement physique). Imaginez une intervention conçue par une chaîne de résultats en face à face comme hypothèse sous-jacente pour atteindre le changement souhaité ! Sans repenser sa théorie du changement (TdC), la logique qui sous-tend une telle intervention risque de ne pas tenir la route. Ce scénario peut s'appliquer et prouver à juste titre que nous avons besoin d'une TdC évolutive dans le temps. Selon mon point de vue et ma pratique professionnelle, ma réponse est affirmative. Nous avons besoin d'une TdC qui évolue dans le temps et qui soit fondée sur des preuves. Nous utilisons des hypothèses parce que nous n'avons pas de preuves, n'est-ce pas ?

      Pour que la TdC reste intacte pendant toute la durée de vie d'un projet, il faut que la plupart des hypothèses sous-jacentes et la chaîne logique soient connues à l'avance et restent constantes. C'est rarement le cas. Je crois que le changement des TdC ne nuit pas mais au contraire maximise ce que nous apprenons pour mieux faire et pour le bénéfice des communautés. Considérons ce scénario : supposons que X produits mènent à Y résultats. Plus tard, on découvre que les facteurs A et B contribuent également, et de manière plus significative, à Y que leurs hypothèses initiales sur les résultats X. Ne pas tenir compte des facteurs A et B saperait la logique de l'intervention ; cela nuit à notre capacité à mesurer les résultats. Je n'ai pas utilisé la cartographie des résultats dans la pratique, mais le sujet à l'étude nous rappelle son utilité. Peu de praticiens du développement croiraient que les parcours de "changement" sont imparfaits. En revanche, je suppose que beaucoup d'entre eux croiraient à l'histoire de l'échec de la TdC (d'ailleurs, je déteste utiliser le mot "échec"). Le manque d'appétit des praticiens du développement pour tenir compte d'autres facteurs dans la TdC qui évolue avec le temps, lorsque des preuves sont disponibles, est peut-être la cause de cet échec. En fin de compte, l'évaluation peut aboutir à des résultats positifs et/ou négatifs qui sont contre-intuitifs, ou qui ne peuvent être liés à aucune composante de l'intervention. Cela semble étrange, je suppose, simplement parce qu'il y a des éléments de preuve qui ont émergé et n'ont pas été intégrés dans la logique de l'intervention.

      • Avec ce qui précède, un projet localisé serait un projet aux couleurs locales. Avec des tailles et des formes différentes, tous venant jouer la place qui leur revient. Cela ne signifie pas qu'il faille être trop ambitieux (trop de couleurs peuvent brouiller la vision, je plaisante, mais peu importe, je porte des lunettes !) Un projet qui découvre de nouvelles preuves doit les intégrer dans le parcours d'apprentissage. Un tel projet a plus de chances d'atteindre les résultats souhaités. Compte tenu de l'évolution du contexte, un projet dont la TdC est statique a plus de chances de perdre sa pertinence avec le temps.
      • À mon avis, une TdC doit être dynamique ou flexible dans un contexte complexe et évolutif. Existe-t-il un contexte de développement qui peut être totalement statique pendant un certain temps ? Je pense que non. Cela me rappelle les théories des systèmes et les théories de la complexité sans lesquelles nous tomberions facilement dans le piège de la linéarité. À mon avis, il n'y a pas de mal à commencer par des hypothèses, mais lorsque des preuves apparaissent, nous devrions être en mesure d'intégrer de nouvelles preuves dans la théorie de la mise en œuvre et la théorie des programmes qui, si elles sont combinées, peuvent constituer la totalité des TdC pour les interventions de développement. Les projets ne sont plus examinés en vase clos (je suppose que nous avons vu la cohérence comme un nouveau critère d'évaluation du CAD de l'OCDE !) À mon avis, il est nécessaire de comprendre l'ensemble du tableau (c'est-à-dire les connaissances actuelles et futures) pour en tirer profit (c'est-à-dire les connaissances actuelles uniquement). Mais la compréhension d'une seule partie est moins susceptible de profiter à l'ensemble.
      • Les défis liés à l'évolution des TdC sont liés aux évaluations d'impact, principalement les essais de contrôle aléatoires. Avec l'évolution de la TdC, les composantes des essais de contrôle aléatoires ou des bras d'étude deviendront floues et la contamination incontrôlable. Dans le jargon statistique, la variance inexpliquée sera plus importante que nécessaire. Bien qu'il existe des laboratoires pour les sciences naturelles et physiques, je crois qu'il y a peu, voire aucun, laboratoire fiable pour les sciences sociales et comportementales. L'avantage de savoir comment naviguer dans des TdC complexes est que l'on peut en tirer les leçons appropriées et générer des preuves moins discutables sur l'impact des projets de développement.

      Je suppose que je fais partie de ceux qui s'intéressent à la compréhension de la complexité et de ses ramifications en matière de TdC et d'évaluation du développement. J'ai hâte d'apprendre comment le Big Data peut et va faire la lumière sur l'image généralement complexe du développement, en brisant les silos de linéarité. Comme nous avons de plus en plus besoin d'un mélange de méthodes pour comprendre et mesurer l'impact ou le changement résultant des interventions de développement, il en va de même pour la TdC. Linéaire, la TdC peut éventuellement trahir le contexte dans lequel une intervention a lieu. Multiligne ou curviligne et évoluant dans le temps, la TdC est plus susceptible de représenter l'image réelle mais changeante des communautés locales.

      Je voudrais terminer par une citation :

      "Les décideurs politiques du XXIe siècle au Royaume-Uni sont confrontés à un ensemble de défis impressionnants : une société vieillissante, les promesses et les menaces pour l'emploi et la création de richesse de l'intelligence artificielle, l'obésité et la santé publique, le changement climatique et la nécessité de préserver notre environnement naturel, et bien d'autres encore. Ce que ces types de défis politiques [et d'intervention en matière de développement] ont en commun, c'est la complexité". Source : Livre magenta 2020

      Tout évolue dans un contexte complexe qui doit être reconnu comme tel et pris en compte dans nos interventions de développement.

      Une fois de plus, merci à John et à ses collègues d'avoir apporté et discuté de ce sujet important.

      Restez en bonne santé et en sécurité.

      Jean Providence

    • Chers OUEDRAOGO et collègues,

      J'aime beaucoup le sujet en question. Envisageons un scénario. Imaginons que la main gauche soit en conflit avec la main droite. Ou qu'une main reproduise ce que l'autre fait. Résultat : tout le corps en souffrirait. Si cela devait se produire dans les interventions de développement, et c'est malheureusement le cas, c'est contre-productif et autodestructeur.

      Merci Serdar de partager votre réflexion qui, lorsqu'elle a été suivie, s'est avérée efficace pour lutter contre les doubles emplois dans le développement, le gaspillage des ressources et les effets négatifs sur la vie et les moyens de subsistance des communautés.

      J'aimerais partager mes deux sous :

      1.         Créer et travailler dans des groupes de travail techniques ou thématiques pour les examiner et se soutenir les uns les autres. J'ai trouvé cela efficace. Par exemple, j'encourage les partenaires de développement à planifier et à mener une évaluation multipartite et multi projets dans une communauté plutôt que de le faire chacun de son côté. Lorsqu'elle est réalisée en silos, cela nécessite plus de temps et de ressources supplémentaires de la part de toutes les parties prenantes, y compris les membres de la communauté. Lorsque l'évaluation est réalisée par plusieurs parties prenantes, elle permet d'économiser des ressources pour les deux parties. Elle ajoute de la crédibilité et un sentiment d'appropriation et d'appartenance parmi tous les acteurs. Il devient plus facile de plaider en faveur de l'utilisation des résultats d'évaluation générés conjointement. Elle permet de coordonner la programmation et d'améliorer les résultats en matière de développement. C'est là qu'intervient la responsabilité de sensibiliser non seulement les acteurs du développement mais aussi les communautés. Toute personne impliquée dans le désalignement et donc la mal utilisation de ressources limitées doit être tenue de rendre des comptes.

      2.         Plateformes d'échange et de partage pour l'apprentissage et la diffusion des résultats / preuves (légèrement une extension du point ci-dessus) : En cette ère axée sur les médias, aucun acteur du développement ne souhaite être à la traîne. Chacun veut être à la table haute pour présenter ce qu'il fait (cela me semble naturel et acceptable lorsqu'on le fait avec intégrité). En étant invité à un forum de partage par le partenaire x, le partenaire y peut être encouragé à faire de même à l'avenir. Certains acteurs du développement pensent à tort qu'en gardant l'information pour eux, ils auront un avantage concurrentiel sur les autres. Il est prouvé que les organisations de développement qui sont ouvertes et qui partagent les enseignements en tirent davantage profit, et deviennent finalement la puissante source de preuves sur ce qui fonctionne ou sur la façon de remédier à ce qui ne fonctionne pas. Elles attirent ainsi des opportunités de financement et de partenariat.

      3.         Sur un plan personnel, voire politique, j'ai vu ces interventions de développement conflictuelles et faisant double emploi, reflétant en quelque sorte l'absence ou le manque de leadership en matière de développement durable. La bonne gouvernance peut faire la différence. Il est de notoriété publique que la plupart (sinon toutes) les interventions de développement sont interconnectées, interdépendantes et s'enrichissent mutuellement. Nos collègues l'ont clairement souligné. Une très bonne leçon est cette pandémie de covid-19. Il s'est avéré difficile pour les interventions sociales, éducatives, économiques, agricoles, etc. d'obtenir des résultats lorsque la santé est menacée. Je suppose qu'aucun secteur ou acteur du développement ne peut naviguer seul dans le paysage actuel du développement et espérer des résultats durables. Il en va de même au sein d'un même secteur.

      En plus des forums et des lignes directrices de développement mentionnés par mes collègues, je pense que la participation des communautés à la conception et au suivi des projets par le biais de pratiques de responsabilisation peut contribuer à relever ce grave défi à terme.

      Restez en sécurité et en bonne santé en ces temps de folie !

      Avec mes salutations distinguées,

      Jean

      The African Capacity Building Foundation

    • Bonjour Judith,

      Merci de partager ce sujet pour obtenir des réflexions et des points de vue d'autres pays. Vous trouverez ci-dessous ma contribution (étant rwandais mais pratiquant le S&E ailleurs) :

      J'utilise généralement un tableau de bord de voiture pour illustrer la nature jumelée du suivi et de l'évaluation. Un système de suivi fonctionnel alimente le système d'évaluation. Un système d'évaluation fonctionnel alimente à son tour les processus de suivi.

      En tant que panneau de contrôle pour suivre les progrès et les conditions d'une voiture, un tableau de bord fonctionnel montre les conditions de la voiture. Le conducteur doit continuer à suivre ou à vérifier la progression pour atteindre sa destination. Imaginez que vous conduisiez une voiture sans tableau de bord ! Etrange, risqué, accidentogène, etc.

      Le conducteur utilise le même tableau de bord pour évaluer et décider quand il doit voir le mécanicien, s'arrêter à une station-service pour faire le plein ou pour obtenir un supplément de pression des pneus. Parfois, le conducteur (c'est-à-dire le chef de projet) peut prendre lui-même des mesures correctives grâce à son expérience et à sa connaissance du système automobile (c'est-à-dire du projet). Cela équivaut à utiliser les données de suivi ou l'évaluation des processus pour résoudre des problèmes. En utilisant les résultats du suivi, le conducteur (ou le chef de projet) peut tirer une leçon ici et là pour maintenir la voiture (ou le projet) sur la bonne voie.

      Mais en fin de compte, il y a des problèmes techniques qui échappent au contrôle du conducteur (ou du gestionnaire de projet/programme). Dans ce cas, le conducteur doit entretenir la voiture ou faire appel à des experts techniques pour obtenir des conseils avisés. Lorsque cela échappe au contrôle du conducteur, on parle de changement (niveau de résultat ou d'impact). À ce niveau, nous avons besoin d'un regard plus neuf afin d'ajouter une nouvelle perspective à la façon dont nous avons vu les conditions de notre voiture. Nous avons besoin d'une évaluation plus sûre, plus objective, plus proche du résultat souhaité.

      Le système de contrôle est un fruit à portée de main, c'est pourquoi la plupart des organisations et des pays trouvent qu'il est facile à mettre en place. L'évaluation est techniquement exigeante et c'est le but ultime d'un bon suivi. Nous surveillons pour nous assurer que nous obtenons les résultats du processus (sous notre contrôle). Nous évaluons pour prouver ou réfuter que nous avons atteint les résultats attendus au niveau du changement (hors de notre contrôle). Le suivi se limite à des "indicateurs de vanité" (un terme utilisé par un collègue sur les médias sociaux) tels que le nombre de personnes formées, le nombre de kilos distribués, etc. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas logiquement et objectivement identifié avec des preuves. Sans système d'évaluation, ce qui fonctionne ou ne fonctionne pas ne serait pas identifié de manière logique et objective à l'aide de preuves. Le véritable changement ne serait pas récompensé par l'extension ou la reproduction de projets réussis, etc. Sans système d'évaluation, nous échouons ou réussissons à notre insu et nous ne pouvons pas en être fiers.

      Avoir un système de suivi, c'est comme avoir une capacité institutionnelle ou répondre à des exigences institutionnelles pour que nous puissions rendre compte à xyz. Mais avoir un système d'évaluation, c'est comme avoir la capacité humaine, l'expertise nécessaire pour naviguer dans un paysage de développement complexe afin que ce qui fonctionne soit conservé. Qu'est-ce que cela signifie pour le S&E dans la pratique ? Laissez-moi garder cela pour un autre jour.

      J'attends avec impatience d'autres réflexions de la part d'autres pays.

      Jean Providence