Mustapha [user:field_middlename] Malki

Mustapha Malki

Independent consultant
Canada

My contributions

  • Can visual tools help evaluators communicate and engage better?

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Cher Ram,

      Je vous remercie pour ce thème intéressant qui m'a ramené à la période entre 1996 et 2002 où j'ai accumulé une importante expérience pratique avec l'utilisation d'outils participatifs dans le développement communautaire et où j'ai découvert la philosophie de Robert Chambers sur la participation. Il n'a pas été facile d'impliquer les bénéficiaires du développement dans l'élaboration de cartes sociales et de cartes des ressources, de cartes historiques et de transects, etc., car nous étions une équipe de spécialistes en R&D communautaire et participative cherchant à appliquer la philosophie de Robert Chambers dans son sens le plus profond : CE N'EST PAS LE FAIT D'UTILISER DES OUTILS PARTICIPATIFS QUI NOUS REND "ORIENTÉS VERS LA PARTICIPATION", MAIS LA MANIÈRE DE LES UTILISER. Et cette façon, pour nous, ne consistait pas à faire parler les bénéficiaires du développement, puis à repérer leurs informations sur un outil participatif, mais plutôt à les former à l'utilisation de ces outils, puis à les assister dans l'exercice de terrain pendant qu'ils dessinent certains de ces outils. C'est ainsi que nous avons pu apprendre d'eux - OUI, nous avons appris d'eux avant qu'ils ne commencent à apprendre de nous - et comprendre très bien leur état d'esprit et leurs pensées. Par la suite, nous avons repéré toutes les informations nécessaires sur des cartes géographiques afin de rendre les choses plus claires et nous avons inclus tous les outils dessinés par les bénéficiaires dans des parties (ou annexes) de nos rapports.

      Et pour conclure, il n'est pas inutile de répéter que les outils participatifs sont de bons outils de visualisation pour renforcer la participation des bénéficiaires et la communication dans toutes les activités de développement.

      Salutations distinguées.

      Mustapha Malki, PhD

      Spécialiste MEL

  • What type of evaluator are you?

    Discussion

  • The pervasive power of western evaluation culture: how and in what ways do you wrestle with ensuring evaluation is culturally appropriate and beneficial to those who legitimise development aid?

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Le débat sur la question culturelle et l'évaluation, mis en discussion sur la plateforme EvalForward par Daniel Ticehurst me rappelle une anecdote qu'on raconte dans certains pays africains: l'histoire d'un trou sur une route à grande circulation, situé à 3 km, qui était réparé chaque année et qui se réouvrait chaque année pendant la saison des pluies et causait donc beaucoup d'accidents graves. Et bien que l'hôpital se trouvait juste à 3 km de là, le manque d'ambulances rendait la gestion de ce problème encore les choses plus compliquées. Alors le gouvernement décida de fermer le trou avec du béton pour qu'il ne s'ouvre plus jamais… et ouvrir un autre trou juste à côté de l'hôpital pour régler… le problème du manque d'ambulances.

      En entamant ma contribution avec cette anecdote, je veux me montrer un peu provoquant pour dire que chercher à régler les problèmes liés au aspects culturels lors de l'évaluation est en fait un débat assez tardif dans le processus de développement socio-économique, surtout si l'on convient que toute action développementale doit être par essence participative, et que l'implication des bénéficiaires doit être concrétisée assez précocement lors de deux étapes initiales importantes d'un processus de développement (élaboration de la problématique de développement, et identification des objectifs de développement/changement). Une telle stratégie est incontournable si nous voulons que les bénéficiaires soient activement impliqués lors des étapes ultérieures du processus de développement (implémentation/réalisation, suivi, évaluation, hand-over, etc.).

      En lisant certaines contributions, dont plusieurs sont restées assez techniques et méthodologiques, je me suis senti au début des années 1980, quand le livre de Robert Chambers "Rural Development' Putting The Last First" car plusieurs des aspects culturels dans les processus de développement avaient été évoqués à partir. Celui-ci identifie les six préjugés (ou biais) important entravant le contact des étrangers avec la "réalité" rurale en général, et avec la pauvreté rurale la plus profonde, en particulier.

      Le débat sur les aspects culturels dans le cadre d'une évaluation est certes intéressant mais on ne peut pas nier que cela reste un débat assez réductionniste présentant l'évaluation d'une action de développement comme si c'était un ilot indépendant alors que c'est juste une étape dans le processus de cette action de développement et, qui plus est, intervient à un moment où ce processus est assez avancé dans le temps et l'espace, et peut-être atteint un point de non-retour dans son évolution.

      Parmi les contributions sur ce thème, il y a 3-4 qui ont – à mon humble avis – cerné la problématique de l'absence de considération assez fréquente des aspects culturels non seulement lors de l'évaluation, mais également durant tout le processus de l'action de développement: il s'agit de, selon l'ordre temporal des contributions:

      (1) Njovu Tembo Njovu ne fait de commentaire, il fait plutôt une plaidoirie sur la philosophie de développement dans le monde qui est assez dominée par l'ethnocentrisme des Occidentaux; cela reste une vérité indéniable et je dois affirmer que je partage largement le contenu de cette plaidoirie. Il déclare que "le système d'évaluation global est dominé par les notions d'investigation émanant du Nord Global occidental, patriarcal, privilégiant les Blancs… et que les systèmes nationaux d'évaluation sont contrôlés par les bailleurs de fonds". Ceci renvoie au sérieux avec lequel sont pris en considération le suivi et l'évaluation des actions de développement dans les pays du Sud qui restent fortement tributaires des pays occidentaux en matière de ressources financières à allouer aux activités de suivi-évaluation. Et la loi de fer des pays occidentaux en matière de développement est que s'ils ouvrent des budgets pour les pays du Sud pour les actions de développement et les activités de suivi et d'évaluation y afférentes, alors il faut utiliser une partie de ces budgets sous forme de ressources humaines de ces pays donateurs. Et là, on retombe dans le cercle vicieux de l'expatrié qui va faire la formulation de l'action de développement avec ses œillères d'Occidental n'ayant que des connaissances très éphémères sur les aspects socio-culturels de l'environnement va évoluer l'action de développement en question, et quid de notre présent débat les aspects culturels et l'évaluation. Il faut donc œuvrer, comme le mentionne Silva Ferretti, à développer les outils nécessaires pouvant permettre aux expatriés d'intégrer les connaissances locales dans leurs actions de développement, donnant plus de considération au fait que les bénéficiaires puissent être à la fois des apprenants et des enseignants dans le même temps (dixit Njovu). Et ainsi aboutir à la décolonisation de l'œuvre de développement, en général, et des évaluations, plus particulièrement, tel que nous le suggère Ventura Mufume, et éviter de perpétuer "la culture de suprématie blanche" (dixit Silva Ferretti).

      (2) Eriasafu Lubowa pense que "le défi de la sensibilité culturelle serait en partie résolu lors de la phase de conception en procédant à une analyse participative approfondie des parties prenantes, induite lors de l'élaboration du cadre de résultats et des indicateurs". Pour cette personne, la participation active des principales parties prenantes d'une action de développement, et plus particulièrement les bénéficiaires, lors de la phase de conception, et au suivi de l'exécution devrait minimiser/contrecarrer les problèmes de sensibilité culturelle qui surviendraient lors de l'évaluation. Ainsi, cette affirmation apporte de l'eau à mon moulin: il est quelque peu tard d'aborder les aspects culturels au moment de l'évaluation; il faut certainement aborder cela tout au début du processus de l'action de développement, donc lors de la conception.

      (3) Ram Chandra Khanal annonce que "Pour diverses raisons, les questions culturelles sont moins représentées dans la conception de l'évaluation et les phases subséquentes. Lors de la conception d'une évaluation, la plupart des méthodes et outils d'enquête et d'observation ne tiennent pas compte du contexte, de l'espace et du temps, et sont principalement axés sur les résultats et leurs indicateurs associés." C'est tout le dilemme de l'évaluation qui reste assez souvent dans le cadre de résultats de l'action de développement, élaboré des années auparavant par une équipe d'expatriés qui n'avaient pas assez de connaissances sur l'environnement culturel et social dans lequel allait évoluer l'action de développement (exemple d'un projet de la Banque Mondiale sur la traction animale pour le labour des terres en Afrique). Et comme le dit si bien, Silva Ferretti, si accepter que l'évaluation signifie "résultats, indicateurs", c'est peut-être tuer dès le départ la possibilité d'une appropriation culturelle de l'évaluation, et peut-être même de l'action de développement dans sa globalité. Et cela est d'autant plus vrai que l'évaluation est assimilée par de nombreux praticiens à une documentation des résultats et des indicateurs, ce qui peut les détourner d'autres pistes d'analyse.

      Donc, au final, l'étape d'évaluation ne peut à elle seule prendre la responsabilité d'aborder le débat sur les aspects culturels de l'environnement dans lequel est exécutée une action de développement, bien qu'elle puisse peut-être aborder cela dans le cadre strict heuristique que peut offrir une activité de recherche-action que peut se révéler une évaluation. Et donc le vrai débat sur ces aspects doit être planté lors de la phase de conception de cette action de développement en allouant plus de place et de rôle actif aux bénéficiaires et réduire la suprématie blanche des expatriés qui ne peuvent aucunement détenir la "vérité absolue".

      Mustapha Malki, PhD

      Spécialiste en suivi-évaluation

      Consultant freelance

  • Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Bravo Elias pour cette brillante contribution que je ne pourrais produire personnellement.

      Vous résumez parfaitement la situation et recommandez parfaitement ce qu’il faut faire. Si certaines dernières contributions étaient quelque peu normatives, voire théoriques, la votre s’inspire parfaitement d’un vécu pratique. Et c’est ce que nous recherchons en tant que membres dans ce genre de plateforme d’interaction et d’échange.

      J’ai eu l’occasion de visiter le Benin en juin 2014 en tant que consultant de la BM pour appuyer l’équipe nationale de mise en œuvre d’un programme de développement communautaire d’une durée de 5 ans et qui débuté en guise de Phase II d’un projet similaire. J’ai été surpris par les efforts consentis par le Gouvernement dans son ambition d’institutionnaliser le S&E dans tous les secteurs; c’était encore les premières années de l’application de la politique gouvernementale 2012-2021 que tu mentionnes dans ta contribution (du moins, j’imagine). J’ai eu l’occasion de visiter plusieurs ministères du Gouvernement et constaté l’existence d’un service S&E qui collationnait plusieurs données du secteur. Durant cette période, les moyens n’étaient pas encore tous disponibles mais 6 ans après, et à vous lire présentement, je comprends que nous avons entre les mains une expérience assez intéressante qui pourrait inspirer plusieurs pays, notamment africains mais d’autres aussi, afin de devenir plus pratiques dans nos préconisations et cesser d’enfermer nos échanges dans le normatif et le théorique.

      Bravo encore une fois pour cette contribution et bonne chance pour le Benin.

      Cordialement

      Mustapha   

       

    • Mustapha Malki

      Independent consultant
      Canada

      Bonjour à tous,

      Cela fait plus d'un mois que nous avions lancé cette discussion sur l'inadéquation entre suivi et évaluation, bien que ces deux fonctions aient de tout temps été considérées comme complémentaires et donc inséparables. Cependant, comme première réaction, je dois faire part de ma surprise que seules 4 contributions ont été enregistrées pour cette thématique. Pourquoi une telle faiblesse des réactions des membres de notre groupe ?

      Au-delà de cette surprise, j'ai passé en revue les 3 réactions qui s'adressent specifiquement aux questions de la pratique du suivi et de l'évaluation et me propose de relancer le débat sur cette thématique pour qu'on puisse en tirer quelques recommandations. Pour information, et afin d'être clair dans mes préconisations, je vais concentrer mon intervention sur la fonction de suivi pour distinguer celle-ci de la pratique d'évaluation dans tout système de suivi-évaluation car il me semble que l'appellation "suivi-évaluation" cache très mal l'inadéquation existante entre les deux fonctions de suivi et d'évaluation, tant celles-ci ne bénéficient aucunement de la même attention tant au plan national qu'international.

      Étant la première à réagir, Natalia recommande que les théories de changement seraient plus utiles si elles étaient développées durant la phase de planification ou formulation de l'intervention et serviraient à la fondation du système de suivi-évaluation. Je comprends qu'elle pense à un système qui attribue autant d'attention au suivi qu'à l'évaluation C'est toute l'essence même de la théorie du suivi-évaluation dans ce que suggèrent de nombreux manuels spécialisés.

      De même, elle suggère que les évaluations pourraient être plus utiles en termes de génération d'enseignements à partir de l'intervention si les TdR et les questions d'évaluation soient alimentées à partir de questions formulées par les équipes d'intervention après analyse des données du suivi. Mais est-ce que ce n'est ce que nous sommes censés faire? Et si c'est le cas, alors pourquoi en général ce n'est pas comme cela qu'on procède?

      Dans sa réaction, Aurélie reconnait que l'évaluation est mieux développée comme pratique que sa fonction-sœur qu'est le suivi, étant donné peut-être que les évaluations se font surtout lorsqu'elles sont appuyées par un financement externe dédié, donc liées à un bailleur de fonds externe. Ceci est en fait le cas général que l'on peut facilement observer dans les pays les moins développés. Elle va même jusqu'à poser une question: pourquoi la fonction de suivi n'a-t-elle pas encore fait l'objet du même intérêt de la part des donateurs; pourquoi les systèmes de suivi ne sont-ils pas exigés en priorité, compte tenu caractère essentiel de cet outil pour tirer des enseignements des actions passées et améliorer les actions futures à temps ? Elle semble même donner un brin de réponse en faisant référence à une étude : les pays doivent mettre en place une culture générale de gestion axée sur les résultats, qui commence, avant même le suivi, par une planification axée autour des résultats. Mais elle évite de nous expliquer pourquoi ça n'est pas encore mis en place, malgré que cela fait 4 ans que les ODD ont été lancés. Elle termine sa contribution en admettant que dans de nombreuses institutions, tant nationales qu'internationales, le suivi reste encore largement sous-estimé, sous-investi et suggère que c'est aux évaluateurs de jouer un rôle de soutien à l'émergence de la fonction du suivi, dans leurs sphères d'influence respectives ; quitte à mettre de côté le sacro-saint principe d'indépendance pour un temps. Mais elle omet de nous monter par quels moyens les évaluateurs peuvent réussir à faire émerger cette fonction de suivi tant désirée là ou des grands bailleurs de fonds et de grands programmes de renforcement de capacité ont échoué.

      La troisième et dernière contribution revient Diagne qui commence par reconnaitre que lors de l'élaboration d'un système de suivi-évaluation, on est plus concentré sur les fonctions et les outils plutôt que sur le champ – ou l'étendue – et l'objet du système, compte tenu des besoins en information du bailleur de fond et autres parties prenantes. Il entreprend de dire que si le but principal d'un système de suivi-évaluation – je comprends qu'il fait aussi allusion à un système attribuant une attention équitable aux deux fonctions - était d'accompagner la mise en œuvre d'une intervention dans un sens de réflexion critique permanente afin d'atteindre les résultats assignés à cette intervention et alerter sur les conditions critiques de son implémentation, alors une révision – je dirais personnellement, refonte – du système de suivi-évaluation s'avère nécessaire. Il me laisse penser à une refonte d'un système qui redonne un peu plus de place au suivi. Et il termine en martelant que les politiques de développement – j'imagine qu'il fait allusion à celles dans les pays récipiendaires de l'aide au développement - ne donnent pas assez d'importance au suivi des ODD; elles ne font que compiler des données envoyées par les programmes mis en œuvre avec les partenaires étrangers afin d'exprimer le progrès réalisé par rapport à tel ou tel indicateur. Ce qui est loin d'être une bonne pratique en ce qui concerne le suivi tant cette fonction devient fortement imprégnée par un adhocisme effrayant.

      En capitalisant les choses essentielles de ces contributions, au moins deux contributions (Aurèlie et Diagne) reconnaissent qu'une refonte profonde des systèmes nationaux de suivi-évaluation s'avère nécessaire à l'ère de la gestion axée sur les résultats et de tous les autres corollaires axés sur les résultats, afin de donner plus d'assise à la fonction de suivi.

      Ce que nous pouvons relever de toutes ces contributions est que l'on a une unanimité sur l'intérêt et l'importance de renforcer la complémentarité entre suivi et évaluation comme deux fonctions renforçant mutuellement l'une l'autre mais nous ne savons pas comment s'y prendre pour construire une fonction de suivi digne de la pratique actuelle de l'évaluation. Comme il est dit dans un certain bon sens, l'identification des bonnes causes d'un problème est déjà la moitié de la solution de ce problème. Selon moi, la cause essentielle de l'inadéquation entre le suivi et l'évaluation est le fait que l'évaluation a été consolidée – presque imposée - par les bailleurs de fond et les partenaires de développement parce qu'elle répond plus à leurs préoccupations de performance des programmes qu'ils financent ou qu'ils mettent en œuvre. Par contre, le suivi est une fonction plus intrinsèque à l'administration des politiques de développement pour les pays récipiendaires de l'aide au développement et une telle fonction ne semble pas encore paraitre importante pour les gouvernants de ce pays pour plusieurs raisons. Comme il y a très peu d'investissement extérieur dans la fonction de suivi au niveau national, cela alimente l'inadéquation entre ces deux fonctions. Donc s'il y a quelque chose à faire pour atténuer cette inadéquation, il faut alors inciter les bailleurs de fonds et les partenaires de développements d'investir des actions de renforcement des systèmes nationaux de suivi-évaluation pour donner plus d'épaisseur au suivi et conduire des programmes d'action afin de convaincre les gouvernants des pays récipiendaires de l'aide au développement de l'intérêt et de l'importance de renforcer la fonction de suivi dans les systèmes nationaux de suivi-évaluation.

      Espérons que cette contribution va rallumer le débat sur cette thématique…

      Mustapha

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Chers membres,

      Je contribue à la nouvelle discussion lancée par notre collègue Carlos Tarazona.

      M'appuyant sur mon expérience, les cadres logiques et les chaînes de résultats sont des outils de planification qui peuvent aider à la phase de formulation de toute action de développement axée sur les résultats (ou basée sur les résultats), même s'il s'agit d'une politique, d'un programme ou d'un projet. Cependant, ces outils nécessitent la plupart du temps une forte expertise technique pour les utiliser de manière plutôt professionnelle et parvenir à une formulation solide d'une action de développement donnée. Cela dit, la plupart des praticiens du développement n'ayant aucune idée de ces outils de planification et de formulation peuvent encourir le risque de ne pas comprendre suffisamment le cadre logique ou la chaîne de résultats de «leur» action de développement.

      Vient ensuite l'utilisation de «modèles logiques» ou de «théories du changement» notamment lors de la phase de mise en œuvre - et surtout lors de la phase d'évaluation - d'une action de développement donnée. Dans ce cas, les membres de l'équipe de mise en œuvre se réuniront au début de la phase de mise en œuvre pour «dessiner» un «modèle logique» ou une «théorie du changement» afin de comprendre comment l'action de développement évoluera dans son domaine de mise en œuvre et comment le «cadre logique» ou la «chaîne de résultats» de cette action de développement se déroulera en réalité dans une série de relations de cause à effet entre ses différents éléments, passant des «ressources / intrants» aux «activités» aux «extrants», aux «résultats» puis à «l'impact». Dessiner le «modèle logique» ou la «théorie du changement» d'une action de développement - exprimée dans un dessin ou dans un texte - aidera les praticiens du développement à traduire le «cadre logique» ou la «chaîne de résultats» d'une manière plus expressive et plus facile de dévoiler et de comprendre la «stratégie de changement» de cette action de développement. Les conséquences d'une telle entreprise sont: (1) une meilleure compréhension de la stratégie de mise en œuvre des actions de développement; (2) beaucoup d'informations pour une meilleure programmation des activités d'actions de développement; et (3) la mise en place d'un solide système de suivi et d'évaluation de cette action de développement.

      Cependant, ce n'est pas le cas général où un «modèle logique» ou une «théorie du changement» est préparé au début de la phase d'implantation; certaines actions de développement ont pris tellement de temps pendant la phase de formulation que l'agence bénéficiaire se précipiterait pour commencer la mise en œuvre. Et voici la deuxième situation de l'utilisation de «modèles logiques» et de «théories du changement» lors de la phase d'évaluation. Un bon exercice d'évaluation pour une action de développement donnée reposerait certainement sur un «modèle logique» ou une «théorie du changement» qui peut aider les évaluateurs à comprendre ce que cette action de développement était censée faire - au moins dans la tête des personnes qui formulent - et à comparer avec ce que l’action de développement a vraiment fait. Si un «modèle logique» ou «théorie du changement» d'une action de développement a été élaboré au début de la phase de mise en œuvre, il doit être utilisé et peut-être amélioré à condition qu'il soit validé par l'équipe de mise en œuvre. Si ce n'est pas le cas, la première tâche des évaluateurs serait d'élaborer un «modèle logique» ou une «théorie du changement» pour l'action de développement «évaluateur» afin de définir les différentes voies qui devraient être examinées pendant l'exercice d'évaluation (paramètres , indicateurs, données à collecter, etc.).

      À la fin, je dirais que le débat ne devrait pas être de savoir s'il faut utiliser un «cadre logique» ou une «chaîne de résultats», d'un côté, ou un «modèle logique» ou une «théorie du changement»; le débat doit porter sur la valeur ajoutée en utilisant différentes méthodes et techniques pour assurer une bonne mise en œuvre et une bonne évaluation d'une action de développement donnée. En bref, il ne s'agit pas de ceci ou de cela, mais plutôt de ceci et cela.

      J'espère que cela aides…

      Mustapha

  • Recurring errors in public policies and major projects: contributions and solutions from evaluation

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Bonjour à tous,

      Tout d'abord, un grand merci à Hynda qui met sur la table un sujet de débat bien "à propos" et que nous devons tous y apporter des réponses sans tabou afin de mettre au centre l'évaluation par rapport à de nombreux égards liés è l'œuvre de développement, dans tous les sens possibles que porte ce terme "développement".

      Dans son message, Hynda met en exergue le terme "erreur" tel qu'il est perçu par nombreux d'entre nous dans la vie quotidienne. Cependant, ce terme devrait être replacé dans le contexte de la planification des politiques publiques afin de distinguer l'intentionnel et le non-intentionnel de l'erreur dans la planification dans nos pays, en général d'abord, et dans les politiques publiques, plus particulièrement. Ensuite, Oumar essaie d'apporter quelques bribes de réponse bien évidentes mais finit très vite par verser dans le normatif au lieu de rester dans le réel – ce qui se fait et pourquoi.

      Pour ma part, au vu de ma modeste expérience dans l'administration et mes modestes de travaux de recherche pour comprendre comment fonctionne ce que je nommerai comme le "théâtre de développement", je caricature la sphère de développement par l'existence de différents rôles joués par différents acteurs et donc la présence de différentes rationalités. Et je voudrais dire d'emblée qu'il n'y a de pur naïf que celui qui croit que le développement est une œuvre apolitique qui a obéit exclusivement à des considérations techniques. Donc quand on parle d'erreur dans ce contexte, nous devons plutôt de ces erreurs non-intentionnelles que nous pourrions relever dans notre évaluation des politiques publiques, encore faudrait-il que cette évaluation puisse apprécier comment et dans quelles conditions de connaissance et de savoir ont été formulées ces politiques. Et c'est là où l'évaluation peut devenir un instrument intéressant pour nous démontrer que les erreurs que nous pourrions percevoir à travers nos évaluations sont loin de relever du non-intentionnel. En effet, de telles erreurs sont liées fortement au rapport de forces qui existe dans le "théâtre de développement" au moment de la planification d'une politique publique. Et c'est là où j'adhère avec Oumar qui admet que nous n'avons pas fait beaucoup d'évaluations dans nos pays et que même quand parfois celles-ci sont faites, elles sont plutôt faites dans le cadre d'un "ballet folklorique" – très souvent "imposé" par les bailleurs de fonds étrangers. Et comme celles-ci sont faites dans le cadre de programmes et projets de développement, les retombées dans la sphère de planification des politiques publiques demeures limitées pour ne pas dire nulles et les résultats de ces évaluations ne sont jamais perçus comme des outils d'aide à la décision. Il faut bien admettre la séparation opérée dans certains de nos pays entre programmes et projets de développement financés par des bailleurs de fonds étrangers et politiques publiques monnayées par les deniers publics et qui relèvent donc le plus souvent du domaine de la souveraineté nationale.

      Ceci ne veut pas dire qu'il n'y a pas d'autres erreurs au moment de la planification de la politique publique, notamment celle liée au manque de connaissances scientifiques et techniques pour pouvoir élaborer une politique publique cohérente avec des objectifs et résultats pertinents et réalistes. De telles erreurs qui peuvent provenir d'un manque réel de connaissances (soit de compétences avérées, soit de statistiques fiables, etc.) peuvent émaner d'autres causes liées au fameux "rapport de forces" évoqué plus haut et ceci nous ramène encore à la nécessité de distinguer l'intentionnel du non-intentionnel dans nos erreurs de planification.

      Il y a les erreurs liées à l'existence d'un document "un et unique" qui permet à tout lecteur de comprendre  cette politique publique dont parle un haut responsable sectoriel. J'ai vécu personnellement nombre d'exemples de hauts responsables sectoriels qui parlaient d'une politique sectorielle qui n'existait que dans leur "tête".

      Il y a également les erreurs liées à la fixation d'objectifs et de résultats pertinents et clairs, évaluables, etc. Pour un spécialiste de la Gestion Axée sur les Résultats, j'en connais un bout sur la résistance qu'éprouvent certains hauts responsables sectoriels et de velléités d'éviter à ce que ce genre de débat dans le document de planification de la politique publique, quand celui-ci existe et est rendu public.  C'est pour  rendre les choses un peu plus ardues quand il faudra parler de la "redevabilité" des décideurs par rapport à l'atteinte des objectifs.

      D'autres types d'erreurs peuvent être relevés par rapport à l'affectation des ressources au profit d'une politique publique et les liens logiques des ressources attribuées par rapport aux objectifs et aux résultats assignés à cette politique publique.

      Enfin, il y a un autre type d'erreur qu'on peut relever par rapport à la "versatilité" de cette politique publique. Dans plusieurs secteurs, on lance une politique publique sur la base d'idées encore insuffisamment cernées ou appréhendées et que le responsable politique du secteur est impatient de mettre en œuvre sur le terrain et puis au fur et à mesure que le feed-back (incohérence, protestation, etc.) revient du terrain, on améliore le "contenu" de cette politique et on fait cela de manière récurrente pendant toute la durée de vie de cette politique, ce qui rend difficile son évaluation.

      Tout ceci pour dire que le problème n'est guère dans la politique publique ni dans son évaluation. C'est tout juste que dans de telles circonstances, l'évaluation d'une politique publique élaborée dans un "carcan" administratif dénué de logique et démuni de connaissance n'est pas possible et n'aura aucun résultat probant sur l'amélioration de l'œuvre de développement… Elle ne pourra servir qu'à dire au responsable politique sectoriel ce qu'il aime bien entendre, et ceci n'est pas le rôle de l'évaluation au sens de ce qui se fait dans le monde avancé.

      Bien à vous

      Mustapha

       

      Mustapha Malki, PhD

      535 avenue Ampere #5

      Laval, QC, Canada

  • Is this really an output? Addressing terminology differences between evaluators and project managers

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Hi all

      Contribution of Emile and Bintou exchange on the necessary distinction between outputs and outcomes.

      Outputs are all goods and services developed through the project's activities via the use of project's resources and inputs (in the Emile's case, these are the distibuted insecticide-treated nets). Outcomes would be the changes (of course, they should be "positive" changes, otherwise we should close that project) that can appear in the living and income conditions of project's target beneficiaries (in the Emile's case, these are the reduction of malaria incidence).

      The difference between the two different items is that outputs - as well as activities and inputs - are part of the project's "controlled" environment (you can decide what and how much to buy and distribute) while outcomes remain the influence that the project is intending IF AND ONLY IF THE PROJECT'S TARGET BENENFICIARIES USE WHAT THE PROJECT DISTRIBUTED. This is why outcomes are part of the project's "influenced" environment.

      And this is what makes things more difficult in achieving outcomes in comparison to outputs because the project management unit has no slight control over the changes among beneficiaries. It then depends on how relevant the implemented activities were in order to generate outputs that can really solve the problem situation identified at the onset. If we can borrow concepts from marketing, and if we assume that outcomes represent the changes requested by the beneficiaries (that is the "demand") and the outputs are the mean to bring about these changes (that is the "supply"), it is then needed that the "supply" meets the "demand" in order to changes to occur.

      Contribution to Dowsen reaction

      Yes, this what I do myself before I go on drafting a Results Framework (or Logical Framework) at the start of project design and this results framework for setting the M&E plan and for guiding any evaluation later. I start with the problem situation assessment (i.e. the Problem Tree tool) using the "cause-effect" causality law. And then turning each problem identified in the Problem Tree into a positive statement I develop the Objective Tree, then a fine-tuning of the Objective Tree using the "means-end" causality law. From the Objective Tree, I can identify the best alternative "result chain" move with it very easily to the results (or logical) matrix and so on...

      Contribution to Reagan Ronald reaction on handbooks' quality.

      I am not sure that anyone of us has attributed the poor quality of evaluation handbooks to evaluators or international consultants in evaluation. Personally I made it clear that sometimes the handbook's content can be of good quality but presented and disseminated upon a very poor communication processing and dissemination process. Based on what I know, many handbooks' content were prepared by high quality consultants in evaluation. However, relying on my minor competency on knowledge and information systems and communication, a good handbook, in general, and in evaluation, in particular, must rely - as a communicative tool - on 4 necessary 4 criteria: (1) a good, appropriate, relevant, and purposeful content; (2) an adequate mean of dissemination; (3) a good knowledge on the targeted population; and (4) a conducive environment to the use of the information. For many handbooks, we were more focusing on (1) and a bit less on (2) and (3) and this is not enough to give birth to good quality handbooks on any subject and not only on evaluation guidelines. Moreover, the consultant in charge of content can be quite good in terms of content (i.e. the substantive knowledge) but may not be very qualified in terms of communication. This is why I always recommend to build a team on an evaluator + a communication specialist to have a good quality handbook on evaluation.

      Hope that I added a bit to this discussion.

      Mustapha

    • Mustapha Malki

      Independent consultant
      Canada

      Dear Natalia et_al.,

      Thank you for putting on the table an important challenge to both the evaluator and the manager of a development project. And I want to apologize for not being able to answer earlier; the situation in my country had taken over my mind and took all my time during the last 3 weeks. The question of clearly distinguishing an output from an outcome is of utmost importance for the development project manager as well as for the evaluator, as well as the project monitoring and evaluation staff. And I doubt that the problem is really a terminology problem, at least theoretically speaking. According to my modest experience, the problem has its origin in several factors that I will try to explain below:

      1. The weak link between project formulation, implementation, and monitoring and evaluation, of which the results framework (or logical framework) of a project is be the basis of this link. In this perspective, coherent and relevant indicators of the different types of results are formulated during the formulation of the project, even before the implementation of the first activity is launched. This weak link sometimes explains the difficulties in developing the ToR of an evaluation and therefore the difficulties that an evaluator may encounter in assessing the achievements and effects of a project, as mentioned by Natalia.
      2. The flagrant lack of skills and resources in project monitoring and evaluation, including monitoring, for various well-known and / or less well-known reasons. In some cases, managers prefer to conduct one or two ad hoc evaluations in the life of a project rather than having to support a follow-up service for the entire project duration, thinking that they will achieve the same purpose.
      3. The "too rigid" procedures in terms of monitoring and evaluation, adopted by some organizations, and confined in handbooks very often poorly developed - as evoked by Isha in this discussion. One of the reasons, in my humble opinion, is very often the focus on the specific content and the less importance attributed to the communicative dimension in the preparation of these handbooks. We may have sometimes mobilized a great resource person for the specific content, if he/she does not have the necessary communicative competence, we will get a very high quality specific content but a handbook that is practically useless.
      4. The apprehension, very often based on mistaken beliefs, made by some project managers on the project monitoring function, that yield a very little importance is given to the monitoring and evaluation staff . This somewhat explains the poor quality of the ToRs that Natalia is talking about in her contribution.
      5. The "voluntary" and "voluntarist" efforts of some enlightened practitioners who have sought at any cost – over the past two decades – to put a barrier between monitoring and evaluation. However, any development project necessarily needs the two "feet" of its monitoring and evaluation system in order to achieve the objectives assigned to it. Monitoring can never explain things exactly as the evaluation can do concerning some project happenings and the evaluation can not fill the gaps of the monitoring function. 

      Having this said, a good training on the monitoring and evaluation of project staff, based on good logframe and result chain, can sometimes be the key to this problem. And to support this, I would like to share an experience I personally experienced in Sudan in 2003 on a project co-funded by IFAD and the Islamic Development Bank (IsDB) in North Kordofan State

      I was contracted by IFAD to support the consolidation of the monitoring and evaluation system of this 7-year project while it was in the 4th year (first anomaly). The project was to deliver several outputs, including a 60 kilometre tarmac road between the State capital, El-Obeid, and the State second city, Bara, entirely financed by IsDB.

      Locked up for 3 days with the entire project team, I was able to clearly see, through the indicators of effect proposed to me, that the project management team, including the principal responsible for monitoring and evaluation, was unable to clearly differentiate between the deliverable (the tarmac road) and the effects this deliverable could engender on its beneficiaries' living and income conditions. And slowly, my intervention and assistance made it possible for the project staff to start differentiating between a deliverable and its effect - as a development intervention - which can be perceptible only at the level of the social segments benefiting from a deliverable and not in the deliverable per se. I fully understand that the transformation of a stony road into a tarmac road is a change, but without the inclusion of the human dimension in our vision, it is difficult to pinpoint the development achieved. For proof, where can we perceive development of a new deliverable realized and closed for 3 years, for example, if human beings do not take advantage of it in order to change their living and income conditions (isn't it Hynda?). Thus, the project team members started, from the second day onwards, to differentiate things, suggesting better outcome indicators – completely different from output indicators, which served 3 years later to a good evaluation of the effects of the deliverable "tarmac road".

      Thus, this little story highlights the necessary link that needs to be established between monitoring and evaluation from the start of a project – through mobilizing all necessary resources for the monitoring and evaluation system, including the necessary skills – so that evaluation can be done without much difficulty.

      But even more importantly, although I am in favour of the evaluator "freedom of expression" (Isha), this necessary link between monitoring and evaluation will certainly lead to better ToRs for evaluation, guaranteeing this evaluator freedom within the framework defined by the project team. Without this link, too much of the evaluator's freedom of expression may incur a project at risk of receiving an evaluation report that is meaningless.

      Sorry to have been a little long but the importance of the question asked by Natalia forced me to resort to certain details. I hope I have contributed a little bit to this discussion.

      Mustapha 

  • How to Measure the Impact of Monitoring and Evaluation Work

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Highly-esteemed Abubakr,

      Thanks for bringing this important issue on monitoring & evaluation in one of the most important challenges of any M&E system related to its 'social learning' dimension. Besides, it was quite informative to read the contributions submitted within this debate – due to your suggestion – especially the ones of Ronald and Zahid.

      The situation you depict is the one that is similar to what you might find in other African countries – I was involved between 2013 and 2015 in a very interesting AfDB initiative entitled "Africa 4 Results" and had a chance to visit some Western and Eastern African countries to face a very similar situation.

      I don't have all necessary information to argue anything about your country but I have the feeling that in your case, the building of a National M&E seems to have started from the "harware" part and did not pay attention to the "software" issue. Sometimes I have the weakness to believe that in your case much attention was given on projects and projects monitoring collected data do not fit into national policies. And for this I would join my voice to Ronald and Zahid's contributions.

      Having that said, we need to acknowledge that the construction of a national M&E system must start the publishing of a M&E general legal framework that will first will impose upon a Government to have a mid-term strategic plan of "multi-dimensional" development to which is annexed a results framework. This national strategic plan must have been prepared through a "true" participatory approach et be endorsed at end by the Parliament.

      At the second level, this national "multi-dimensional" development plan will serve for each sector as a reference framework to establish a mid-term strategic sectoral plan to which is annexed a sectoral results framework. Each strategic sectoral plan must be approved by the Government and should bear a results framework that links the sectoral strategy to the mid-term national development plan.

      At this level, any new project or programme will need to have a results framework that will link this project or programme to the sectoral plan. This is the "software" part that I mentioned above.

      After that, the "hardware" part of the national M&E system is setup upon a concept note showing the inter-relations between the different levels of the national M&E system; the standard form of M&E unit at the different levels; the data collection procedures and methods; the reporting system and its timing; etc.

      With this, one can assume that once monitoring data is collected at a project level can easily be aggregated at the sectoral level, getting the sectoral plan to feed back into the national strategic plan.

      In such a situation that you bring in, starting with the "hardware" part, the majority of Government high and line staff might feel that M&E is just and additional "administrative" workload that is imposed from the top and lack of conviction in M&E will be very apparent.

      Thinking of disseminating M&E results is highly recommended but talking about M&E "value for money" may just be seen inappropriate as M&E work is a sort of "quality insurance" or "life insurance" for development, and using such a metaphor, one can easily admit that having a "quality insurance" or a "life insurance" has certainly a cost, but omitting to have that insurance will certainly have a "at-least-ten-times" higher cost. This is why I believe the concept "value for money" is not the right concept to a given M&E system. I do not ant to be too much provocative but I feel that this issue of "value for money" is just a "proxy" indicator for a lacking conviction towards M&E work.

      Kind regards

      Mustapha 

      Mustapha Malki, PhD
      535 avenue Ampere #5
      Laval, QC, Canada

  • Challenges of evaluation

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Thanks, dear Naser, for bringing this issue again to the forefront.

      We should not stop 'hammering' that evaluation cannot and should not be disconnected from monitoring and we should do all we can to connect them from the start, at the moment of developmental action formulation, albeit a project, a programme, or a policy.

      It is a fact - and nobody can deny that - that most of the time developmental actions are:

      • lacking a clear theory of change, and hence a thorough and sound results framework; and,
      • not founded upon a robust M&E system which will systematize monitoring from the start and prepare the ground for evaluation.

      But why this is still happening after eighteen years of the MDG endeavour?

      Because of weak or insufficient M&E capacities within national systems in almost all developing countries, but also a 'stricking' reluctance and lack of political will to adopt a national M&E framework for national development. Again this fear of M&E as a control and audit system is in the air...

      Besides, whenever international organizations is pleading the need to build national capacities on this issue, stress and focus are rather put on evaluation and very low consideration is allotted to monitoring.

      And again, I would claim that monitoring and evaluation - and not monitoring or evaluation - are the two 'legs' of a system on which will stand a developmental action seeking to ensure achieving its expected results; choosing the one or the other would just mean that our development action - as a person standing on one leg - will certainly fall short of achieving its expected results.

      That's what I wanted to say as a rejoinder to Naser's contribution...

      Mustapha

    • Mustapha Malki

      Independent consultant
      Canada

      Bonjour à tous,

      Un grand merci à notre chère Hynda pour avoir ouvert un débat fort intéressant sur les défis et les contraintes qui entravent l'émancipation de l'évaluation dans certains pays. Tout ce qui a été dit est tout à fait valable dans son intégralité, mais néanmoins le manque de compréhension de la fonction d'évaluation, telle que l'évoque Hynda, très souvent perçue comme un contrôle et forçant beaucoup d'individus à des positions de résistance pour différentes raisons, reste un des défis qu'il est nécessaire de prendre en charge. De par ma modeste expérience dans les différents ateliers de formation sur la Gestion axée sur les Résultats que j'anime, dans son volet suivi-évaluation, je commence toujours par démystifier les fonctions de suivi et d'évaluation parmi les participants en posant une question simple: est-ce que nous faisons du suivi-évaluation dans notre vie quotidienne? Et j’engage ainsi un débat franc et serein avec les participants en les emmenant à évoquer des exemples de la vie courante où l'être humain pratique le suivi-évaluation de manière assez intuitive et fortuite. L'exemple d'un voyage en voiture vers une destination où on n'a jamais été pour y arriver à une date et une heure précise, selon un itinéraire précis que nous n'avons jamais emprunté, est l'exemple qui revient assez souvent. Et là nous commençons à décortiquer nos actions pour enfin découvrir que nous faisons assez fréquemment du suivi-évaluation, parfois sans se rendre compte, et concluant que finalement le suivi-évaluation est plutôt en notre faveur qu'en notre défaveur.

      Cependant, d'autres défis guettent la fonction d'évaluation que je peux personnellement avancer, à titre d'illustration et sans être exhaustif, et qui sont plus logés dans l'environnement immédiat de la fonction d'évaluation, notamment:

      • L'auto-censure pratiquée par certains évaluateurs dans certains systèmes politiques afin de rester dans le "politiquement correct", poussant parfois les choses jusqu'à faire entendre aux responsables politiques et autres officiels ce qu'ils aiment entendre;
      • L'interférence de certains responsables politiques et autres officiels et la pression exercée sur les évaluateurs afin de changer certaines conclusions dans le rapport d'évaluation, voire même déguiser la réalité mise en évidence par l'exercice d'évaluation;
      • La rareté – voire l'absence – de statistiques officielles fiables et d'études sectorielles de qualité permettant de trianguler les "findings" d'une évaluation;
      • L'éloignement de certains évaluateurs de l'objectivité et la neutralité requises dans la fonction d'évaluation pour rester toujours dans le "politiquement correct" tout en pensant aux contrats futurs;
      • Le foisonnement de nombreux universitaires et académiciens ayant pour vocation d'élaborer depuis des décennies des études socio-économiques (tels des états des lieux, des diagnostics, etc.) et qui prétendent être des évaluateurs sans comprendre les fondements et les principes de la fonction d'évaluation et sans mise à jour préalable et nécessaire de leurs connaissances vis-à-vis de l'évaluation.

      Voilà ce que je voulais partager avec les collègues à titre de contribution dans ce débat.

      Cordialement

      Mustapha Malki

      Canada

  • The issues facing global agriculture

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Dear all,
      As I am following the thread of this discussion, I get more convinced that platforms such as EvalForwARD CoP have to exist for evaluation practitioners of all backgrounds: it can only provide assets and advantages to all of us. Why I am saying this? Because I feel and "smell" some confusion in conceptualising "evaluation" in the air.
      According to my modest experience in Monitoring & Evaluation (M&E), I see "evaluation" strongly bounded by the Theory of Change defined during the project/programme formulation stage, and the results framework we assign to a given developmental action, be it a project, a programme, or a policy. Though lots of things need to be evaluated in any project/programme in order to be more comprehensive in our understanding of what worked and what didn't, we have to be faithful to what that project/programme was assumed or assigned to change. And for this, I join my voice to Emmanuel Bizimungu and Dr. Emile Houngbo, saying that we cannot evaluate anything and everything but we have to keep "targeted". Quoting Robert Chambers, I would say that we should opt for an "optimal ignorance" to not get our research efforts diluted in different senses and directions.
      In some interventions in this discussion thread, I assume that some friends are using the term "evaluation" as if it is a sectoral study assessment, a sort of an "état des lieux", as we say in French, or the "state of the art study" of the agricultural sectoral. If this is case, let us the words properly and keep the term "evaluation" for what it is meant: "the systematic and objective assessment of an on-going or completed project, programme or policy, its design, implementation and results. The aim is to determine the relevance and fulfillment of objectives, development efficiency, effectiveness, impact and sustainability… An assessment, as systematic and objective as possible, of a planned, on-going, or completed development intervention." (OECD, 2002 – Glossary of key terms in evaluation and Results-based Management).
      It is then clear that "evaluation" is something different as doing an "état des lieux" or the "state of the art study" in terms of objectives, orientation, and use, although there are some common features shared among all. But for evaluation, as a peculiar characteristic that it bears, we have to develop an evaluation matrix backed by some evaluation questions and a strong and robust research methodology before we start collecting any data.
      Furthermore, we have to keep in mind that, as the same glossary clearly mentions, "evaluation in some instances involves the definition of appropriate standards, the examination of performance against those standards, an assessment of actual and expected results and the identification of relevant lessons". This is why evaluation – the discipline and not the perceived term – is since the last decade developing into a new social science and for which specialists get officially accredited in some countries, such as Canada, for example.
      Sorry for being too long but there was a need to clear my mind and attract the attention of colleagues on the perceived slight confusion.
      Mustapha

  • Developmental evaluation

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Bonjour à tous,

      Quand j'avais décidé de rejoindre cette communauté, j'avais un grand espoir de voir se développer des débats simples mais intéressants concernant l'importance du suivi-évaluation, en général, et de l'évaluation, plus particulièrement, pour le praticien du développement et d'encourager la généralisation de ses pratiques pour un développement durable réussi à l'horizon 2030.

      Le débat sur l'évaluation développementale, lancé par notre collègue Prosper, et que je suis en train de suivre, est un débat que seuls les universitaires et académiciens, maitrisant parfaitement l'art de la "spéculation intellectuelle" peuvent se permettre car ils ont le temps pour cela. De plus, selon mon humble opinion, un tel débat ne peut rien apporter au praticien du développement si ce n'est des confusions supplémentaires par rapport à l'utilité et à l'importance tant du suivi que de l'évaluation.

      Tout d'abord, je constate que nous ne sommes pas tous sur la même longueur d'onde par rapport au concept d'évaluation développementale, d'après ce que j'ai pu lire dans le cadre de ce débat. Certaines contributions poussent vers le concept développé par M.Q. Patton, cité plusieurs fois dans un article et une présentation PPT échangés par notre collègue Koffi; d'autres évoquent un concept très proche de l'évaluation en général qui pour but d'apprécier l'efficacité et l'efficience des interventions, tel que présenté par notre collègue Émile.

      Dans le premier cas, pour ayant lu plusieurs ouvrages et articles de Patton, ce dernier évoque une approche d'évaluation accompagnant l'intervention (i.e. un projet, un programme, ou une politique) tout au long de sa mise en œuvre afin que les résultats de l'évaluation soient utilisés par l'équipe chargée de l'intervention pour améliorer la performance de l'intervention ou éventuellement sa perpétuelle reformulation jusqu'à ce qu'elle convienne aux besoins des bénéficiaires. Pour ma part, et pour faire simplifier le débat, c'est cela même le rôle attendu de la fonction "Suivi" dans un système de suivi-évaluation de toute intervention. Pourquoi alors cherche-t-on à l'envelopper dans un nouvel emballage dénommé "Évaluation développementale"? Si dans l'équipe chargée d'une intervention, il est donné plus d'importance et suffisamment de moyens à la fonction "Suivi", voire en développant des mécanismes participatifs dans cette fonction, je suis sûr et certain que l'on atteindra des résultats très probants en termes de performance et d'adaptation de l'intervention, exactement comme le stipulent les adeptes du concept "Évaluation développementale" de Patton. La seule différence est que cette fonction "Suivi" sera moins coûteuse pour l'équipe d'intervention et conduite par les ressources internes de l'équipe chargée de cette intervention, ce que recommandent pratiquement tous les manuels de formation sur le suivi-évaluation. 

      Dans le second cas, notre collègue Émile évoque ce qu'est réellement le rôle de l'évaluation puisque celle-ci doit focaliser sur les effets et impacts au niveau macro-économique par rapport aux grands indicateurs de développement. Pour ma part, et pour faire simple, c'est ce qui doit être attribuée à la fonction "Évaluation" dans le système de suivi-évaluation d'une intervention donnée; qu'on lui ajoute ou non  l'adjectif "développementale" ne change en rien cette fonction "Évaluation". Car quel est le projet, ou le programme, ou la politique nationale ou sectorielle, etc. qui n'intervient pas dans la sphère développementale? Et quelle est l'action d'évaluation d'un tel projet, ou programme, ou politique, etc. qui n'a pas pour objectif d'apprécier les effets – notamment ce qu'on appelle communément les effets finaux – et les impacts?

      Ceci étant dit, je pense que notre communauté est composée majoritairement de praticiens de terrain qui souhaitent voir se développer des débats qui peuvent leur apporter des solutions pratiques appropriés à leurs problèmes et qu'ils peuvent mettre en œuvre sur le terrain. Donc, ma recommandation est de développer des débats simples sur des thématiques de l'heure et d'éviter des confusions inutiles à nos praticiens du développement. Au contraire, aidons-les à renforcer leur système de suivi-évaluation en renforçant davantage leur fonction "Suivi" et à développer davantage leur fonction "Évaluation".

      Cordialement

      Mustapha 

       

  • What works in improving food security and nutrition in very poor communities?

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Thanks, dear Eoghan, for taking time to go through my contribution and give more information about the evaluation.

      The picture on introducing CA and get it adopted by farmers is very similar to what we have done for the last 3 decades in technology dissemination and adoption (intensive package on cereal cropping, use of quality seeds, mechanization, herbicides use, water-saving irrigation techniques, etc.). That general picture shows always some of the following aspects:

      1. Project's technical staff are very enthusiastic to show their "successes" in the field by showing large numbers of farmers being enrolled by the project, and jump without hesitation to consider as a huge rate of technology adoption. They are very defensive when one tries to ask them questions if they took the time to know in deep their beneficiaries.

      2. Farmers are keen to apply a new technology when someone else is covering the cost. But when the project is closed, then we see properly what is happening among farmers. Most of time, farmers who participated in a closed project start asking when the next new project will start and if they will be part of it, as if the closed project was just a game and then the game was over (I am becoming a bit cynical on this).

      3. Little is done in terms of evaluation of the project outcomes, impacts, sustainability of both and so forth...

      I am telling you this because I was involved in 2013 a 4-year Maghrebin CA project funded by Australia and implemented by ICARDA in Algeria, Morocco and Tunisia. I was involved in setting the M&E plan for that project and trained a bunch of Maghrebin researchers and dev practitioners on Results-Based Management so that they could make a good use of that M&E plan. All social actors involved in that project praised the work done (M&E Plan + RBM Training), especially the Austalians who were very keen to put a strong pressure on ICARDA to setup the M&E Plan. But the project was closed after 4 years in the same as I saw many projects closing (you can imagine the picture - business as usual).

      But, in your case, and the case of your CA evaluated project, I am happy to see that you paint in your message the picture as it is in reality, i.e. that CA was not that "rosy" technology that could fit most farmers in Africa, especially that is was applied in a "one-size-fits-all" approach, with a little knowledge - to not say "no" knowledge - on the beneficiaries, and that the case presents some shortcomings that you are not hiding. And what and how evaluation has to do. Good to read a balanced contribution on a new technology.

      As for the issue of sampling, especially with a "fixed constituency" for 4-5 years between baseline and project end, it is always a tricky issue to get that required robustness in our survey. But you tackled the issue through triangulation, using multiple sources of data, and honestly I would have go the same way. But locating 317 farmers among 385-390 at the end of the project is quite an endeavour by itself. That's why I mentioned in my previous contribution the need in such cases to make the sample bigger at the baseline in order to cover such turmoil at the end.

      Finally, the way you presented the things made me more curious and "hungry" to look at the evaluation report. Without engaging in a formal commitment, I will download the evaluation report for which I am very thankful to you and try to squeeze some time to read (summer time is rushing away and missions and travels will start again very soon in September).

      Good luck and kind greetings

      Mustapha

    • Mustapha Malki

      Independent consultant
      Canada

      Dear Mr. Molloy,

      I have read with a great attention your contribution referring to the evaluation of CASU in Zambia. I must congratulate your department for such an achievement. However, I have two points to make here.

      You mention at the start of your contribution that the entire population of the Conservation Agriculture project is "targeting over 300,000 smallholder farmers". That is the entire population of the project. You also mention that "the main focus of the evaluation was to assess the extent to which conservation agriculture has been sustainably adopted by Zambian beneficiary farmers … also sought to assess what outcomes were evident (positive and/or negative) from the project’s activities, and what were the impacts on food security, income, and soil health"

      The first point I want to raise concerns the adoption study that you highlighted in your message. Though I don't have all details about how such a study was conducted and what results it did achieve, I would like use this opportunity to share some experiences on adoption studies, a sort of outcomes evaluation and if these outcomes are sustainable over time. Everett Rogers, one of the gurus on technology adoption by farmers, instruct us not to check the adoption rate at once or at any time. Adoption studies require that one is aware of the technology adoption process among farmers in order to understand how to work with adoption studies and set up appropriate protocols to study technology adoption among farmers. I saw many of adoption studies giving high rates of adoption at the end of a project and very low numbers of farmers are still keeping the technology 5-10 years after the end of a project. This is because what seems adoption to researchers is just experimentation to farmers, so real adoption for farmers will come far away after that moment of project end.   

      The second point I want to raise concerns the household survey undertaken by the University of Zambia and the sample size used by the research team. Besides other activities conducted within this evaluation (among which focus groups with 650 beneficiary farmers), you mention that "a household-level impact assessment survey to collect quantitative data amongst a sample of over 300 farmers, in order to assess progress against the baseline survey".

      Nobody can deny that a survey can only be truly valuable when it is reliable and representative for the entire population of project's beneficiaries. This is why determining the ideal survey sample size with robust external and internal validities is quite important as it will help the research team to infer and extrapolate the results obtained on the research sample over the entire population of the project's beneficiaries.

      Using a correct survey sample size is crucial for any research, and project evaluation is a research. A too big sample will lead to the waste of precious resources such as time and money, while a too small sample, though it can yield sound results (strong internal validity), but will certainly not allow inference and extrapolation of its results on the entire project population (weak external validity).

      So, the sample size cannot be by how much a research team can handle but on how accurate the survey data ought to be. In other words, how closely the research team wants the results obtained on a sample to match those of the entire project population.

      In statistics and statistical probabilities, we use two measures that affect the accurateness of data and which have a great importance as for the sample size: (1) the margin error, in most cases, we use 5%; and (2) the confidence level, in most cases, we use 95%. Based on these two measures, and given the population size, the research team can calculate how many respondents (people who might completely fill the survey questionnaire) it may actually need; that is the survey sample. Beside all this, the research team must consider a sufficient response rate – that is the number of "really exploitable" survey questionnaires – so that they include additional questionnaires beyond the sample so that the research team has sufficient number of completed questionnaires to exploit. The table can give an idea on the sample size for a project population of 300,000 individuals. For example, if we target 380-390 "exploitable" questionnaires, we allow 20-25% more questionnaires so that the survey is not put at risk of weak robustness.

      As a conclusion, I believe that the sample size for the mentioned household survey, as part of the undertaken CASU evaluation, was a bit lower than what a probabilistic law would accept. Of course, this statement has no consequence on the results obtained within the sample as such, but the survey findings cannot be strongly and robustly inferred and extrapolated to the entire population of project's beneficiaries because of the weak external validity of the sample, due to no respect of the principles of probabilistic law.

      Kind regards

      Mustapha

       

  • Gender and evaluation of food security

    Discussion

    • Mustapha Malki

      Independent consultant
      Canada

      Bonjour à toutes et à tous,

      Je voudrais apporter ma contribution au débat qui porte sur le respect de la dimension "genre" dans l'évaluation des actions de développement - j'utilise le terme générique d'action de développement pour désigner un projet, un programme ou une politique. Je trouve le débat lancé par Georgette assez important et qu'il va falloir le faire sortir d'un débat qui resterait philosophique et stérile, tellement les praticiens du développement ont besoin d'éléments pratiques pour apporter les corrections nécessaires de leur façon de faire. Il va sans dire que la dimension "genre" est très importante pour le développement mais ceci ne doit pas nous amener à l'utiliser comme une clé "passe-partout" à utiliser dans toutes les actions de développement; nous devons donc traiter de cette question "genre" de façon systématique et obligatoire dans les actions de développement qui ont effectivement une dimension "genre" indéniable.

      En suivant la filigrane de ce débat, j'ai la faiblesse de croire que nous sommes en train de traiter de cette question tout juste au moment de l'évaluation - c'Est un débat que je rencontre très souvent parmi les praticiens de l'évaluation "simple et simplifiée" alors que cet aspect doit être déjà traité bien en amont, au moment de la formulation de l'action de développement, de la conception de son cadre de résultats, en général, et du choix des indicateurs et de la collecte de données - qui doivent être désagrégées selon la dimension "genre", et e la mise en place du système de suivi-évaluation de cette action de développement, en particulier. Si une action de développement quelconque est articulée sur une forte dimension "genre", la lecture du document du projet, de son cadre de résultats et des indicateurs qui y sont inscrits, et de son plan de suivi-évaluation, etc., doivent pouvoir refléter cette forte dimension "genre", avant même que les activités de cette action de développement ne soit lancée sur le terrain. Sans une telle perspective intégrative de Gestion Axée sur les Résultats, l'évaluation sera totalement déconnectée du reste des activités d'une action de développement, notamment des activités de suivi-évaluation, et ne pourra nous aider dans une telle situation d'apporter toutes les réponses nécessaires aux questionnements sur le genre que nous pourrions nous poser au moment d'une évaluation. C'est sur ce débat restrictif de l'évaluation, réductionniste et "saucissonné" d'un processus de gestion du cycle d'une action de développement auquel je voulais apporter une première contribution ors de mon premier message sur cette plateforme il y a quelques semaines que je voulais attirer l'attention de tous les membres sur le danger de parler de manière restrictive de l'évaluation en dehors d'une perspective de Gestion Axée sur les Résultats.

      A bon entendeur, salut!

      Mustapha

      Mustapha Malki, PhD

      Canada