Lal - Manavado

Lal - Manavado

Consultant
Independent analyst/synthesist
Norvège

My interests include food systems, support for culinary enjoyment rather than turning meals into formulae, global health enhancement, policy and strategy and everyone who deprecates reductive, reactive actions.

My contributions

  • Evaluability Assessments: An invitation to reflect and discuss

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Bonjour Jackie !

      Si vous acceptez de considérer l'évaluation comme la vérification de la mesure dans laquelle une politique donnée, sa stratégie de mise en œuvre, son opérationnalisation et son activité sur le terrain ont réussi à améliorer la qualité de vie d'un groupe cible, alors il est facile de répondre à votre question. En d'autres termes, le problème consiste à déterminer si le produit final physique de l'action susmentionnée, par exemple une route, un hôpital, une école, une aide à l'agriculture, etc. a réellement profité à un groupe de personnes.

      Le succès d'une action à évaluer n'est donc pas mesurable par l'excellence technique de ces produits finaux, dont certains peuvent être intangibles à première vue, par exemple une politique. Pour évaluer le succès ou l'échec d'une politique, il faut déterminer dans quelle mesure elle a bénéficié à un groupe cible.

      C'est là que l'on se heurte à une série de difficultés :

      • La majorité d'un groupe cible est-elle disposée à _utiliser_ le produit final d'un projet ? Si ce n'est pas le cas, une excellente route, un hôpital, etc., pourront peut-être servir l'objectif visé, mais ils ne profiteront pas à la population. Les normes culturelles et certains types d'intérêts particuliers peuvent susciter une opinion publique défavorable, ce qui rendrait le produit final inutile. De telles situations sont très difficiles à identifier et donc à évaluer.
      • Le groupe cible peut être incapable de faire un usage approprié d'un produit final en raison de l'incompétence de la majorité du groupe cible. Le manque de formation pertinente, sa négligence dans les plans de projet, etc. sont les principales causes de cette situation. L'évaluation ne semble pas tenir compte de l'importance pour le groupe cible de posséder cette compétence.

      Meilleurs vœux !

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Chère Amy,

      Merci beaucoup d'avoir soulevé cette question, qui a le potentiel de faire beaucoup de bien, ainsi que son contraire.

      Mon point de départ en matière d'évaluation est très simple : un ensemble d'actions visant à améliorer la vie d'un groupe cible pourrait-il être atteint/a-t-il été atteint ?

      Si la réponse à cette question est non/marginalement/partiellement, l'ensemble des actions entreprises est défectueux d'une manière ou d'une autre. Toutefois, ces actions insatisfaisantes peuvent laisser derrière elles d'excellentes autoroutes, des hôpitaux spécialisés, des ponts, des aéroports internationaux, etc.

      Il est extrêmement difficile d'évaluer dans quelle mesure un bien public a été réalisé. Lorsque des projets, c'est-à-dire un ensemble d'actions, sont décidés, il est rare que les souhaits réels d'un groupe cible soient consultés de manière significative. Et même lorsque le groupe cible est généralement d'accord sur l'opportunité d'un objectif, il peut y avoir des désaccords sur la manière d'atteindre cet objectif. Souvent, cela est dû aux normes culturelles dominantes dans ce groupe social ou à l'influence d'un intérêt extérieur habile à faire de la propagande.

      Si l'évaluateur a la volonté et la capacité d'identifier et de mesurer l'ampleur et la nature de ces trois variables au cours de l'exécution et de la conclusion d'un projet, il est possible de procéder à des ajustements correctifs afin d'en accroître le succès. Certes, c'est difficile, mais si l'on s'y attelle, cela profitera en fin de compte à un groupe de personnes vivantes dont les besoins ne sont pas une simple entité.

      A la vôtre !

      Lal.

  • Management matters: exploring the link between management models and the use of evaluations

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Chère Ibtissem,

      L'utilisation des résultats d'une évaluation pour guider la formulation des politiques et la conception des stratégies exige que ces résultats soient aussi solides que possible. Comme vous le soulignez, la conduite d'une évaluation et sa gestion réussie requièrent deux types de compétences différentes. Confier ces deux tâches à une seule personne présente plusieurs inconvénients, tels que le niveau de compétence requis dans l'un de ces domaines, les préjugés personnels, etc.

      En ce qui concerne votre première question, une gestion compétente de l'évaluation est importante pour tous les types d'évaluation. Elle est particulièrement précieuse dans l'évaluation des politiques et des stratégies et dans les cas où l'évaluation peut influencer les décisions stratégiques concernant la mise en œuvre, la modification ou l'arrêt de projets ou d'activités, telles que les évaluations préalables aux projets et les évaluations "à mi-parcours".  

      Une gestion efficace des évaluations implique de faciliter le travail des évaluateurs, d'assurer la collecte des faits pertinents et de favoriser le dialogue pour affiner les modèles et les méthodologies. Le rôle du gestionnaire peut donc être considéré comme celui d'un facilitateur, complétant le processus d'évaluation.

      D'autre part, un évaluateur compétent peut avoir besoin d'un grand nombre d'informations de base pertinentes pour déterminer les conséquences environnementales d'une politique, d'une stratégie, d'une opération ou d'un projet sur le terrain. Une vision holistique de la part d'un gestionnaire compétent peut guider et aider les évaluateurs dans leurs tâches, enrichissant ainsi le processus d'évaluation.

      En fonction de leurs compétences respectives, l'interaction entre un gestionnaire et un évaluateur peut élargir l'horizon de l'un et de l'autre, ce qui se traduit par une meilleure évaluation.

      Cordialement!

      Lal.

  • How are development projects affecting the environment and how do we evaluate this impact?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Dans sa contribution, Lal souligne l'importance de l'évaluation de l'impact environnemental des projets de développement et reconnaît la difficulté d'établir des indicateurs universellement applicables. Il propose une approche flexible basée sur une analyse approfondie des propositions de projets et des zones cibles, en s'appuyant à la fois sur des données scientifiques et sur l'expertise locale.

      Contribution complète disponible en anglais

  • Artificial intelligence in the context of evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Je vous salue !

      Tout d'abord, la prudence et le bon sens exigent que l'on s'assure soigneusement des points suivants avant d'appliquer une nouvelle technologie à un domaine donné, en l'occurrence l'évaluation :

      1. Son utilisation répond-elle à un besoin justifié ? Rappelons que la plupart des évaluations sont réalisées dans des pays moins riches et donc moins avancés sur le plan technique. Par conséquent, l'utilisation de cette soi-disant "technologie de pointe" pourrait rendre les évaluateurs de ces pays encore plus dépendants des "experts" des pays riches.
      2. Qu'est-ce que l'IA est précisément censée apporter pour améliorer l'évaluation ?
      3. Le recours à l'"IA" dans l'évaluation implique qu'il y a une pénurie d'intelligence humaine parmi les évaluateurs ; chaque évaluateur devrait considérer cet aspect de la question très sérieusement.
      4. Un examen approfondi des questions ci-dessus ne semble pas justifier l'application de l'"IA" en tant qu'outil complémentaire dans l'évaluation, à condition que l'évaluation vise à déterminer dans quelle mesure un ensemble d'actions a amélioré l'existence humaine dans un domaine donné.
         

      A la vôtre !

      Lal Manavado.

  • How are we progressing in SDG evaluation?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Bonjour à tous !

      La remarque de Chris selon laquelle il serait judicieux de formuler dans les grandes lignes ce qui devrait être entrepris après 2030 est tout à fait pertinente.

      Cependant, une telle entreprise serait utile si et seulement si nous avons une notion raisonnablement claire de ce qui a été fait et n'a pas été fait en référence à l'ensemble actuel des ODD, en dépit de leur manque de cohésion logique. Ici, il est difficile de voir comment une telle compréhension peut être acquise sans évaluation.

      Une fois cette connaissance acquise, nous pouvons espérer que la prochaine série d'objectifs de développement pour l'après 2030 sera formulée de manière à incarner une plus grande cohésion logique par rapport aux six besoins humains fondamentaux dans le cadre des normes culturelles propres à chaque personne.

      La connaissance de ces besoins fondamentaux est évidente, donc sans jargon, à savoir la nutrition avec plaisir culinaire - après tout, nous ne sommes pas encore assimilables à des machines qui n'ont besoin que de carburant - la bonne santé, la sécurité au sens le plus large, l'éducation au sens jutifiable, la procréation et ce que l'on peut appeler un objectif non matériel qui englobe le plaisir esthétique, les jeux et les sports auxquels on participe, diverses autres formes de divertissements. Il s'agit d'un objectif non matériel car sa satisfaction n'implique aucun gain matériel.

      La plupart des ODD actuels peuvent être subsumés sous nos besoins fondamentaux puisque les premiers acquièrent une valeur en tant que moyen direct ou indirect de nous permettre d'atteindre un besoin fondamental ; il s'agit donc de besoins secondaires ou tertiaires constituant un réseau hiérarchique interconnecté de besoins humains dont les ramifications reflètent l'état actuel de développement d'une société. Ce développement peut être justifié ou non, par exemple la promotion d'un consumérisme effréné pour atteindre la croissance économique.

      A la vôtre !

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Bonjour, Emilia !

      Permettez-moi de commencer par un commentaire qui sera extrêmement impopulaire et que j'ai fait dans plusieurs autres forums, à savoir que la liste actuelle des ODD est logiquement défectueuse en ce qui concerne les besoins justifiables de la population. Cela dit, l'évaluation dans ce contexte est confrontée à deux défis fondamentaux :

      À quel niveau l'évaluation doit-elle être réalisée pour être utile aux décideurs politiques et à ceux qui conçoivent la mise en œuvre des politiques ? Il est difficile de l'envisager autrement qu'aux niveaux national, régional et local d'un pays. Les contributions internationales devraient s'inscrire dans ce cadre. 
      L'évaluation semble porter sur divers points ; toutefois, les ODD étant destinés à améliorer la qualité de vie de personnes réelles, il est impératif que l'évolution de la qualité de vie soit au centre de l'évaluation. Il est évident que cela varie considérablement d'un pays à l'autre et qu'il n'est donc pas possible d'établir une norme en la matière.

      Il est très dommage que les écologistes de tout poil, les nutritionnistes, le lobby de la santé, etc. n'aient pas suffisamment mis l'accent sur l'arrêt de la croissance de la population mondiale, voire sur sa réduction. Sans cela, le reste resterait chimérique.

      Mes meilleurs vœux !

      Lal.

  • How are mixed methods used in programme evaluation?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      J'aurais dû dire "agir en silos", car penser est une action. C'est une expression que quelqu'un a inventée au cours des discussions qui ont abouti à l'élaboration de l'ensemble actuel d'objectifs de développement durable. Après tout, ce n'est qu'une autre expression pour décrire la pensée et l'action réductivistes, tout comme le fait d'appeler une bêche un outil de tranchée (armée américaine).

      Avant d'aller plus loin, permettez-moi de rappeler mon point de départ :

      Une bonne évaluation d'un résultat proposé ou atteint d'un projet ou d'un plan consiste à vérifier son adéquation avec l'objectif prévu dans les circonstances dans lesquelles il est mis en œuvre.

      Il est évident que les mots clés sont ici "adéquation" et "circonstances dans lesquelles il est mis en œuvre". Nous avons donc trois éléments à prendre en compte, à savoir un élément fixe, c'est-à-dire une finalité ou un objectif, qui peut toutefois être atteint ou non en fonction des circonstances. Permettez-moi d'illustrer mon propos à l'aide de deux exemples apparus sur ce forum il y a quelque temps.  Le premier concerne un pont d'un milliard de dollars destiné à relier une île au continent dans un pays riche d'Europe du Nord, tandis que le second est une autoroute de plusieurs millions de dollars dans un pays africain.

      Les deux projets étaient très satisfaisants sur le plan qualitatif et quantitatif ; leur qualité technique était excellente et leur capacité était importante. Dans les deux cas, certaines circonstances critiques ont été totalement ignorées, ce qui a conduit à leur échec par rapport aux objectifs visés. Ici, l'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet.

      Voici ce qui s'est passé : ce pont devait permettre aux habitants de l'île de se rendre en voiture, par n'importe quel temps, à leur travail dans une ville située sur le continent, ce qui serait plus facile que d'utiliser le ferry pour ce faire, comme c'était le cas jusqu'à présent. Le péage de ce trajet devait couvrir les frais de construction et d'exploitation du pont.

      Mais dès qu'il a été achevé, les habitants de l'île ont utilisé le pont pour quitter l'île et s'installer près de leur lieu de travail, en utilisant leurs anciennes maisons comme résidences d'été ! Il n'est donc pas nécessaire d'en dire plus sur l'importance de la qualité et de la quantité, car les planificateurs n'ont pas envisagé la possibilité que les habitants de l'île quittent l'île. Ils ont été contraints de rester, car le ferry n'est pas un moyen pratique de déménager.

      Dans le cas de l'autoroute, l'objectif était d'initier une croissance économique dans les villages traversés. Elle devait aider les villageois à transporter leurs produits vers de meilleurs marchés et les investisseurs à venir.

      Mais les planificateurs n'ont pas remarqué que les villageois ne disposaient même pas du strict minimum en matière de transport motorisé et que la pauvreté de la région restait inchangée, tandis qu'une chèvre occasionnelle se promenait tranquillement sur une autoroute moderne.

      Ainsi, l'adéquation d'un résultat comporte une composante qualitative et une composante quantitative qui sont régies par les circonstances pertinentes dans lesquelles un projet ou un plan est mis en œuvre. Dans ma note précédente, j'ai souligné que les approvisionnements alimentaires d'urgence d'une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et qu'ils devraient être ajustés pour que l'approvisionnement soit adéquat dans ces circonstances 

      J'espère que mes propos sont un peu plus clairs.

      Je vous remercie !

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations à Emilia et aux autres membres !

      En tant que personne qui détermine la valeur de l'évaluation en fonction de son importance pragmatique pour un projet en cours de planification ou achevé dans une certaine mesure, je suis heureux de constater que vous qualifiez le débat actuel de réducteur.

      Bien sûr, ce mode de pensée semble être profondément enraciné dans presque tous les domaines, et ce qui a été fait jusqu'à présent pour nous débarrasser de cet incube semble être d'inventer une nouvelle expression pour le décrire, à savoir "penser en silos". Son extension à l'évaluation donne lieu à l'inévitable discussion sur la qualité et le quantitatif.

      Je pense qu'il serait utile de considérer l'évaluation comme un effort visant à déterminer l'adéquation d'un objectif à atteindre ou réalisé par un projet. Cette adéquation dépend naturellement d'un certain nombre de variables qu'il faut prendre en considération et qui varient à leur tour en fonction des circonstances. Permettez-moi de citer quelques exemples :

      1. L'adéquation de l'approvisionnement alimentaire d'une zone sinistrée ne peut être mesurée par rapport à la nécessité d'un régime alimentaire varié et équilibré pour le groupe cible.
      2. L'adéquation d'un programme d'éducation doit être déterminée en fonction de son utilité pour ceux qui sont censés en bénéficier. Ici, on entend souvent parler de la nécessité d'avoir une population sachant lire, écrire et compter, alors que ce qu'elle peut faire avec ces attributs utiles reste toujours flou.

      En résumé, l'évaluation pourrait un jour se préoccuper de l'adéquation d'un résultat par rapport à sa qualité et à sa quantité réalisables de manière optimale dans un ensemble de circonstances existant.

  • Can visual tools help evaluators communicate and engage better?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Je vous salue !
      J'ai lu avec intérêt le premier courriel sur ce sujet et les premières réponses. Cependant, je suis un peu perplexe : il est évident que toute évaluation ne peut être entreprise que par rapport à un certain objectif donné. Pour moi, le seul objectif justifiable d'une évaluation est de vérifier si un projet, un programme, etc. peut atteindre ou a atteint l'objectif prévu pour le groupe cible.  Ce groupe peut être un groupe de stratèges, de concepteurs d'opérations ou de travaux sur le terrain.

      Pour autant que je sache, il est difficile de comprendre comment un tel objectif - atteindre la population cible - peut être visualisé. Sans ce point d'ancrage, les visualisations seraient laissées à la dérive, comme un navire en panne de moteur dans une mer déchaînée.
      A la vôtre !
      Lal Manavado.

  • Reporting evaluation results or communicating evaluation results?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Je vous salue !

      Je suis tout à fait d'accord [avec John], et si je puis me permettre, vous présentez très bien des faits trop souvent ignorés ou plutôt balayés sous le tapis par la nature même du "comité", qui semble être la méthode préférée pour concevoir des projets et définir des stratégies de mise en œuvre. Les comités constituent un terrain fertile pour diverses formes de jeux de chevaux de bataille, de promotion véhémente de théories ou de méthodes favorites, sans parler de certains humbles serviteurs de cet organe.

      A la vôtre !

      Lal.

  • The pervasive power of western evaluation culture: how and in what ways do you wrestle with ensuring evaluation is culturally appropriate and beneficial to those who legitimise development aid?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      L'objectif de cette note est de fournir un cadre de référence, qui permettrait à un évaluateur/expert en matière de suivi de prendre en compte les éléments culturels pertinents qui devraient être intégrés dans les processus d'évaluation ou de suivi.

      Toutefois, cela n'est pas aussi simple qu'il y paraît, car l'évaluation peut être divisée en trois niveaux distincts sur lesquels les facteurs culturels peuvent avoir des types d'impact très différents.

      Commençons par le niveau le plus élevé où l'objectif d'un plan/projet/programme est déterminé. En supposant que l'utilité d'atteindre cet objectif soit démontrable, il s'agit de savoir si cet objectif est culturellement neutre ou non. À titre d'exemple extrême, on peut citer l'éducation primaire pour tous les enfants, mais dans certaines cultures, l'inclusion des filles peut entraîner des résultats imprévus.

      Au deuxième niveau, il s'agit de savoir si les moyens stratégiques utilisés pour atteindre l'objectif sont culturellement acceptables. Par exemple, la décision de confier l'exécution d'un projet à une source très avancée sur le plan technique peut atteindre son objectif pour le moment, mais les bénéficiaires locaux peuvent ne pas être en mesure de le maintenir à long terme en raison non seulement des différences de compétences techniques et de ressources, mais aussi d'une éthique de travail divergente.

      Enfin, la méthodologie opérationnelle utilisée sur le terrain peut contenir des éléments culturellement inacceptables. Parfois, il n'est pas possible de les éviter, sauf en recourant à d'autres méthodes moins efficaces.

      Meilleurs vœux !

      Lal Manavado.

  • Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Sur la responsabilité

      Si l'on me disait que je suis redevable de certaines de mes actions, je me trouverais dans une position très délicate à moins de savoir ---

         - de quoi je suis redevable et

         - à qui je dois rendre des comptes.

      Pour autant que je puisse voir, je ne serais pas en mesure de donner une réponse sensée à la question de savoir si j'ai réussi à rendre compte de mes actions tant que je n'aurais pas reçu de réponses raisonnables à ces deux questions.

      Maintenant, si mes actions sont guidées par les normes de plusieurs groupes, par exemple, les fournisseurs de fonds, la poltronnerie politique etc., d'une part, et un ou plusieurs besoins concrets d'un groupe social d'autre part, ma position sera extrêmement difficile en ce qui concerne les deux questions ci-dessus.

      Dans ce cas, mes actions doivent-elles être justifiées par rapport à ---

         - Aux normes du fournisseur de fonds,

         - Une parcelle des politiciens ou

         - Un ou plusieurs besoins concrets d'un groupe social que mes actions visent à satisfaire ?

      Jusqu'à présent dans cette discussion, la plupart des participants semblent croire que les réponses aux questions ci-dessus sont conciliables. En effet, dans un monde coopératif, ce serait le cas, mais la plupart des gens défendent un environnement compétitif.

      La même difficulté devient encore plus flagrante lorsqu'il faut faire face à des bailleurs de fonds, des politiciens et les représentants les plus véhéments d'un "groupe cible".

      Il est peut-être temps que les évaluateurs s'arrêtent un instant pour vérifier soigneusement leurs prémisses de base, car lorsque nous sommes confrontés à ce qui peut sembler irréconciliable, un examen impartial de nos prémisses nous montrerait qu'une ou plusieurs d'entre elles sont indéfendables.

      Le lecteur perspicace a peut-être déjà remarqué que la "neutralité", l'"impartialité" et l'"objectivité" sont des termes relatifs aux normes utilisées par les fournisseurs de fonds, les politiciens, les groupes cibles, sans parler de ce que l'on appelle avec humour les "médias". Dans ces conditions, l'"indépendance" devient une notion extrêmement discutable.

      A la vôtre !

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      Après les remarques lucides de Silva Ferretti, je ne peux que dire, je ne peux pas être plus d'accord.

      A la vôtre !

      Lal.

  • Reporting and supporting evaluation use and influence

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      Trop souvent, les personnes qui se consacrent à un domaine commencent à manquer le "tout" en raison de leur spécialisation. Il est si facile de ne pas voir la forêt pour une espèce particulière d'arbre, d'arbuste ou de buisson. Ce réductivisme n'est que trop familier pour la plupart des gens, et certains ont même inventé une nouvelle expression pour le redécrire, à savoir "penser en silos".

      Peut-être que quelqu'un qui n'est pas chargé d'une expertise dans un domaine spécifique pourrait voir ce qui aurait pu échapper à un professionnel. Après tout, Shakespear et James Watt n'ont pas suivi de cours universitaires dans leur domaine, mais ils ont réussi à accomplir beaucoup de choses. Ainsi, un évaluateur humble pourrait voir ce qui a échappé à un expert ayant des années d'expérience.

      A la vôtre !

      Lal.

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      En ce qui concerne la capacité d'un évaluateur à suggérer une meilleure approche pour résoudre un problème, je pense qu'il faut prendre en considération deux aspects de la question.

      Premièrement, une évaluation est entreprise pour déterminer dans quelle mesure une approche donnée permet d'atteindre un objectif prédéterminé. Dans mon exemple, il s'agissait d'améliorer la santé publique d'un pays non nommé. Les autorités politiques ont opté pour une unité de cardiologie ultra-moderne dans la capitale d'un pays où il n'y avait pratiquement aucun soin de santé primaire pour la majorité.

      Lors de l'évaluation pré-projet, cela serait évident pour un évaluateur qui regarde la réalité telle qu'elle est, plutôt que comme un exercice académique. Il est vrai que ce n'est pas toujours aussi simple que cela semble l'être. Malgré tout, je crois qu'un évaluateur qui n'a pas peur d'appliquer son bon sens aux réalités locales existantes d'un endroit donné serait capable de faire quelques suggestions judicieuses sur certains changements génériques à apporter à un plan destiné à atteindre un objectif. L'évaluateur n'est peut-être pas compétent pour recommander une action spécifique, mais les changements génériques devraient être à sa portée.

      Dans l'exemple de la "santé publique", il est évident pour un évaluateur informé que les soins de santé primaires ont une priorité logique par rapport à une unité de cardiologie fantaisiste d'utilité limitée. Bien entendu, il ne serait pas compétent pour recommander les modalités de mise en place d'un tel système de soins de santé.

      A la vôtre !

      Lal.

      PS :

      N'oublions pas que l'évaluation vise à améliorer d'une manière ou d'une autre la qualité de vie de personnes réelles et qu'elle ne doit pas être confondue avec une entreprise abstraite portant sur des entités théoriques.

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      J'ai suivi cette discussion avec intérêt, et il me semble que le point que l'on essaie de faire valoir ici est que l'évaluation devrait entraîner un changement souhaitable dans la façon dont une politique/stratégie/tactique, c'est-à-dire une mise en œuvre sur le terrain, est censée atteindre son objectif. Dans le cas contraire, l'évaluation ne serait que "beaucoup de bruit pour rien". Qu'il s'agisse d'un rapport impressionnant ou d'une série de graphiques colorés. Sur ce point, je ne peux qu'être d'accord avec Silva.

      D'autres participants ont déjà relevé plusieurs obstacles au progrès, tels que l'opportunisme politique, l'incompétence, la corruption, l'indifférence des décideurs, le manque de ressources, l'ingérence inacceptable des donateurs, etc. Tout cela suppose qu'une évaluation donnée a été comprise, mais...

      Nous pouvons difficilement considérer ce "compris" comme acquis ; je pense que c'est le point que Silva soulève ici. Si j'ai bien compris, la question est alors de savoir quelle forme précise doit prendre une évaluation pour faciliter une telle compréhension, tout en espérant qu'elle puisse inciter les décideurs politiques/stratèges/planificateurs de terrain à revoir leur approche pour atteindre un objectif prédéterminé.

      En d'autres termes, l'évaluation guiderait alors la révision de l'approche précédente en vue d'atteindre le même objectif. Ce processus peut devoir être répété car d'autres conditions influençant la réalisation d'un objectif peuvent changer. Un exemple extrême d'une telle influence est l'infection actuelle de Corona.

      Ici, nous avons identifié deux problèmes fondamentaux :

      1. Comment faire en sorte que les "planificateurs" comprennent une évaluation.
      2. Comment les inciter à réviser leurs plans en fonction d'une évaluation. 

      Il semble que cela soit beaucoup plus difficile, surtout au vu des obstacles que nous venons d'évoquer précédemment.
      Cependant, en nous limitant à notre première question, je pourrais suggérer qu'une évaluation prenne la forme d'une courte critique des actions génériques qu'un plan incarne. Pour prendre un exemple concret, disons qu'un plan suggère qu'afin d'améliorer la santé publique, les autorités prévoient de mettre en place une unité de cardiologie ultra-moderne dans la capitale d'un pays. Le donateur est plein d'enthousiasme et soutient le projet. Pourtant, le pays concerné offre à peine des soins de santé primaires à ses citoyens.

      Ici, à mon avis, l'évaluation préalable au projet serait courte et lucide, et se présenterait comme suit :

      "Ce projet aurait un effet bénéfique extrêmement limité sur la santé publique du pays, et il est proposé que les fonds et les ressources humaines disponibles soient déployés pour fournir des soins de santé primaires dans des centres situés à X, Y, Z, etc.". 
      C'est quelque chose qui s'est réellement produit et j'ai supprimé les noms du pays et du donateur. Je ne pense pas que le rapport d'évaluation réel ressemblait à ma version, mais il devait être impressionnant par son épaisseur et son inutilité.

      Alors, les évaluateurs sont-ils prêts et capables de se concentrer sur l'aspect pratique et de guider les mains qui les nourrissent vers un bien commun avec quelques phrases lucides et sans jargon ?

      A la vôtre !

      Lal.

       

  • Cohérence des interventions dans le secteur agricole

    Discussion

  • How do we move forward on Evaluation Systems in the Agriculture Sector?

    Discussion

  • Racism in the field of evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations !

      Un certain nombre de cas de "racisme" dans l'évaluation ont été présentés dans cette discussion. Cependant, j'ai du mal à comprendre comment cette prise de conscience pourrait permettre d'y faire face. Bien sûr, on pourrait rédiger un long document sur ces exemples et le diffuser largement. Mais en quoi cela va-t-il nous aider ?

      Ensuite, le terme "racisme" n'est pas bien choisi. Il sert à confiner un certain sous-type de discrimination aux différences de couleur de la peau. Il existe de nombreux exemples de ce type de discrimination, même au sein de groupes de même couleur de peau. 

      Par exemple, parmi les personnes ayant une peau de couleur X, ce type de discrimination peut se produire à travers les barrières suivantes :

         1. La division entre les zones urbaines et rurales.
         2. L'école/université fréquentée.
         3. Religion.
         4. Sexe.
         5. Caste/classe sociale.
         6. Népotisme et corruption.

      La discrimination du type en question peut être motivée par l'une ou plusieurs des six raisons mentionnées ci-dessus au sein d'un groupe ayant la même couleur de peau. Je pense qu'il serait malavisé de les ignorer, mais pour éviter de les exclure, il faut considérer le problème comme un exemple de discrimination plutôt que de racisme.

      Quant à la manière de résoudre ce problème, il faut noter qu'il s'agit d'un problème social découlant de l'absence de normes éthiques. Veuillez noter que je parle d'une éthique laïque que je préfère appeler des normes de décence commune. Il serait naïf de croire que des mesures juridiques pourraient être utiles, car il y a une énorme différence entre le fait d'avoir les "bonnes lois" dans les livres de lois d'un pays, la signature de conventions internationales d'une part, et leur application effective d'autre part. Je pense donc qu'il faudrait un certain temps pour régler ce problème et qu'il faudrait dès maintenant éduquer le public et intégrer l'éthique personnelle dans l'enseignement scolaire. De nombreux discours savants peuvent donner l'impression d'avoir fait quelque chose, mais cela ne permettrait guère d'aborder le problème dans le monde réel.

      Meilleurs vœux !

  • Addressing disability inclusion through evaluations in agriculture and rural development

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutation!

      Nous continuerons à partir de là où nous nous sommes laissés dans notre contribution précédente, qui est donnée ci-dessous. En évitant toute expression arcane généralement utilisée, soulignons quelques faits importants pour les personnes handicapées réelles en ce qui concerne les activités agricoles:

         • Certains handicaps comme la cécité ou une déficience visuelle grave empêcheront les gens de s’engager dans des travaux agricoles de quelque façon que ce soit.

         • Cela s’appliquera également aux personnes à mobilité réduite en raison d’une blessure aux jambes ou d’une mysthénie gravis, etc.

         • Certains dysfonctionnements mentaux peuvent empêcher les malades de participer à des activités agricoles.

         • Ainsi, les possibilités offertes aux personnes handicapées dans l’agriculture sont limitées en raison de certains handicaps physiques ou mentaux dont elles souffrent. C’est la situation dans la vie réelle.

         • Toutefois, les personnes sourdes et celles qui souffrent d’autres handicaps peuvent être en mesure de s’engager de façon fructueuse dans l’agriculture à condition que ce qu’elles prévoient faire ne leur impose pas une pression indue.

         • Ce que ces personnes peuvent utilement faire dépend des conditions réelles qui existent dans la région où ils vivent. Nous ne pouvons suggérer aucune amélioration significative à moins d’avoir des renseignements spécifiques à la région.

      Nous espérons que les planificateurs de projets et les évaluateurs commenceront là et commenceront dès le début plutôt que de fonder leurs travaux sur des documents théoriques ou académiques. Après tout, nous essayons d’améliorer la vie des vraies personnes, n’est-ce pas ?

      Meilleurs voeux!

      Lal Manavado.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Bonjour à tous !

      En termes généraux au sujet de l’évaluation, il ne semble pas y avoir d’accord à grande échelle sur ce que l’on entend évaluer exactement. En évitant l’utilisation de tout jargon, nous aurions pensé que ce qui compte vraiment, c’est d’évaluer si un projet/programme a réussi à améliorer la qualité de vie du groupe cible qu’il a été conçu pour en bénéficier. Ce n’est pas la même chose que la conclusion physique réussie de tout effort de développement. Par exemple, lors d’une discussion antérieure, l’achèvement réussi d’une voie motrice moderne et d’un pont pour rejoindre une île et la terre principale avaient été cités comme vains efforts.

      Nous avons souligné qu’il est essentiel de répondre aux critères suivants si l’on veut qu’un projet profite à son groupe cible :

      1. Il est durable par le groupe cible en ce qui concerne les ressources physiques dont il dispose.

      2. La compétence requise pour l’exécuter et la maintenir relève des compétences disponibles du groupe cible.

      3. Le projet apporte une contribution significative à l’amélioration de l’éducation dans son sens réel, la santé, la nutrition, la sécurité dans son sens le plus large, la procréation et ce que nous avons appelé les besoins non matériels. Ce dernier comprend le plaisir esthétique c’est-à-dire la littérature, la musique, etc., la participation à des jeux et des sports, etc. L’amélioration d’un ou de plusieurs d’entre eux augmentera la qualité de vie.

      Après ces remarques préliminaires, il est clair que ce que nous devons découvrir, c’est comment et dans quelle mesure les activités agricoles peuvent contribuer à la qualité de vie des personnes handicapées. Nous espérons que les travaux sur ce domaine réussiront à déterminer ce qui est possible à réaliser en termes clairs et concis.

      Meilleurs voeux!

      Lal Manavado.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Cher M. Molloy,

      Je suis heureux de voir que vous avez soulevé la question, est-ce que l’évaluation aborde les changements dans la qualité de vie des personnes en situation de handicap lors d’un programme/projet? Naturellement, de tels changements peuvent être positifs ou négatifs. Malheureusement, certains efforts de modernisation semblent avoir un effet négatif sur personnes en situation de handicap, en particulier sur ceux qui vivent dans des pays moins riches.

      Par exemple, les documents pdf sont censés avoir une « meilleure apparence » que de simples fichiers texte ou fichiers doc. Mais ce n’est pas facile d’accès aux malvoyants des pays pauvres, car le logiciel nécessaire pour rendre ces documents accessibles aux malvoyants est tout simplement trop cher pour la plupart d’entre eux. En outre, le PC nécessaire pour les exécuter sont trop chers pour le groupe cible nommé ici.

      Je vous suggère d’entrer en contact avec les organisations pour handicapés dans autant de pays que possible par e-mail et de demander leur point de vue. Bien sûr, cela peut fournir certaines difficultés linguistiques parce-que le personnel dans de nombreuses organisations de ce genre ne parlent pas l’anglais standard ou ne connaissent que leur propre langue.

      Qu’il soit, comme il se peut, vous pourriez trouver quelques bits utiles de l’information du monde réel à partir de cette source. Pendant ce temps, je suis un peu sceptique au sujet des documents publiés, parce qu’ils sont généralement écrits par les personnes locales non handicapées qui sont éduqués dans les villes et ont peu de notion sur la façon dont les handicapés dans les zones rurales vivent.

      J’espère que cela vous sera utile et je vous souhaite beaucoup de succès.

      Meilleurs voeux!

      Lal Manavado.

       

  • Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Oui, le suivi est important dans l’évaluation, mais il est nécessaire de comprendre qu’à moins qu’on n’ait décidé à l’avance ce que l’on va surveiller exactement, il ne sert à rien. Ce «quoi» est déterminé par la réalisation de ce résultat on va vérifier. Il est facile d’ignorer ce fait logique vital, et souvent cela arrive. Ainsi, le suivi est logiquement subsumé par l’évaluation pour laquelle il est destiné.

      Meilleurs voeux!

      Lal Manavado.

  • The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Salutations!

      J'espère que je serai pardonné d'avoir présenté quelques raisons justifiables pour démontrer que l'approche descendante tant décriée ne signifie pas dicter à un groupe cible qu'il s'agisse d'agriculteurs ou de toute autre catégorie de travailleurs réels qui font vraiment le travail.

      Par exemple, prenons le cas d'un agriculteur tout seul; s'il est expérimenté, pas forcément chargé de diplômes impressionnants en agriculture, ne considérerait-il pas d'abord le type de sol dans sa propriété, l'accès à l'eau, le climat, le type de cultures ou d'animaux dont il est certain qu'il aura une demande, etc. , avant de commencer son travail? Si quelqu'un nie cela, on suppose simplement que l'agriculteur est simplement ignorant, ce qui est très souvent injustifiable.

      Si l'on convient que notre agriculteur le fait, alors, il utilise une approche descendante pour voir ce qui lui convient le mieux pour pousser et / ou élever sur ses terres, car cela lui permettra d'atteindre son objectif de réussir à se procurer assez de nourriture pour lui et vendre le reste pour subvenir à ses autres besoins.

      Le problème n'est pas dans la méthode, mais dans son application fragmentée. Ce qui se passe, c'est qu'il est appliqué de manière incompétente au plus haut niveau, c'est-à-dire la formulation des politiques et encore moins avec compétence au niveau de la mise en œuvre stratégique. Aux niveaux régional et local, ce qui vient d'en haut est simplement passé tel quel. Il s'agit d'une chaîne d'incompétence commune très répandue dans le monde. Le terme de haut en bas est souvent évoqué par ceux qui ne comprennent pas ce qu'il est ou ce qu'il implique.

      Il s'agit d'une approche échelonnée où, à chaque niveau, à la fois le «grand objectif», qui est général, devient de plus en plus spécifique à la mise en œuvre. Enfin, au niveau de notre agriculteur là où ça compte le plus, il devient un processus de réconciliation entre son objectif par son intégration dans l'ensemble national. C'est aussi simple que cela quand il est débarrassé du jargon et des clichés des droits acquis.

      Ainsi, les souhaits et les commentaires des agriculteurs font partie intégrante d'une solution descendante appliquée avec compétence.

      À votre santé!

      .

       

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Chers tous,

      Je suis très d'accord avec les commentaires de Silvia, et si vous me le permettez, j'aimerais ajouter quelques remarques.

      Je pense qu'il serait raisonnable de soutenir que l'objectif fondamental de l'évaluation serait de vérifier si une action, un projet par exemple, a réussi à contribuer à la qualité de vie de son groupe cible.

      Cette amélioration de la qualité de vie peut être apportée en leur permettant de satisfaire l’un ou plus de leurs besoins fondamentaux. La nutrition est l'un de ces besoins. Sa satisfaction dépend évidemment de la disponibilité et de l'abordabilité des aliments locaux sains, qui à leur tour dépendent de l'adéquation du système alimentaire local. Il en va de même pour l'ensemble des besoins associés aux autres besoins fondamentaux.

      Souvent, la satisfaction adéquate d'un besoin fondamental exige la satisfaction préalable des besoins associés à la satisfaction d'un autre besoin fondamental. Par exemple, une alimentation adéquate dépend souvent du transport des aliments. Le transport devient ainsi une nécessité non seulement pour une nutrition adéquate, mais aussi pour d'autres besoins fondamentaux comme l'éducation, la santé, la sécurité, etc.

      Donc, je pense qu'une approche empirique holistique pour évaluer/vérifier l'exhaustivité d'un projet au cours de l'étape de planification serait essentielle pour le succès de toute action. Après tout, nous entreprenons un projet pour apporter un changement souhaité, par example pour améliorer la qualité de vie d'un groupe d'une certaine manière. Ce n'est pas théorique, et c'est éminemment pratique. Idéalement, il devrait être proactif, mais il y a trop de choses en dessous du pair aujourd'hui pour y penser.

      Le groupe cible est censé prendre en charge dans une certaine mesure la gestion et l'entretien d'un projet. Ils ne sont pas un isolat, mais une partie d'une communauté plus vaste. Il est donc important de vérifier si le groupe cible et/ou la communauté à laquelle il appartient sont en mesure de poursuivre le bon fonctionnement du projet à sa fin.

      Je pense que les variables impliquées ici sont tout simplement trop nombreuses pour être prises en compte par n'importe quelle norme théorique. Même après avoir établi son impact environnemental et social en fonction de son résultat et des outils qu'un projet propose d'utiliser, ainsi que de la volonté et de la capacité d'une communauté de les utiliser avec suffisamment de compétences, il y a beaucoup plus d'impondérables auxquels on devra faire face. Ceux-ci doivent être examinés sur place.

  • Youth in agriculture: what lessons can we draw from evaluations?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Dear Ines,

      Many thanks foryour comments, and my apologies for my delayed reply.

      Perhaps, I might mention that I am very reluctant to use the term 'theory' on what is obviously an approach used to achieve some concrete result, which in this case is to get youth to engage in agricultural pursuits to a greater extent than now. I prefer to use 'theory' to describe in generic terms fundamentals that govern gnomic phenomena, i.e., interactions among non-thinking entities like planets, atoms, molecules, etc.

      Having said that, I think the approach we are interested in makes one crucial distinction, viz., the difference between the 'desired result' and the 'actual result'. In a previous discussion on this forum, a contributor mentioned a very expensive modern highway built in a developing country. The desired result included its regular use by the locals to transport goods, which in turn would improve the 'local economy'. But the actual result was that it was a success as far as the road itself went, but was hardly used by the poor target group who did not has sufficient access to the required wheeled transport, nor yet enough local produce to send away!

      This is where the pre-evaluation of any endeavour should come in, i.e., a project, programme, etc. And it should be holistic. Had it been done in the case of that road, first thing that would have come to mind is the annual surplus to be transported, the need for it, availability of appropriate transport vehicles, etc. If those did not obtain in certain minimal amounts, the road project would have been either reduced to a more realistic level or scrapped altogether.

      As you will notice, this approach entails that there are so many variables one has to take into account for a meaningful pre-evaluation. Hence, it is logically impossible  to draw universally applicable evaluation guidelines that are pragmatically justifiable. After all, what we want is a pragmatic result that benefits a target group, and not an academic activity. In the present case, the acid test is, has the project or the programme  resulted in a significant increase in the numbers of young people taking up agricultural pursuits in a given area, and will they continue to do so? If the answer to these questions is a no, the endeavour has been a failure. We shall always have to keep this in mind.

      I'm not familiar with the situation in India, and you point out that most young people in developing countries lack appropriate skills in agriculture.

      I am not at all certain that cultivation of Himalayan foot hills would be such a good idea in the long term, for the geology of the sub-continent makes it totally dependent on monsoon rain as its principal source of water.

      Snow and ice on the mountain ranges in the area from Hindookush range via the Himalayas and to the Chinese ranges depend on the monsoon moisture.

      Unless sufficient water goes into the soil through seasonal rainfall and snow and ice melts, rivers in the area would dry up and this would lead to a catastophe. I am told that the major rivers in the area from Kablll river eastwards have shrunk considerably during the past century. Thus, deforestation of the Himalayan foot hills would retard soil uptake of monsoon rains even though the 'organic farming' would enable some people to earn large profits for a short time. According to the Imperial Gazeteer of India the soil in that area is not particularly fertile. Incidentally, no geological and climatological project of greater comprehensiveness and complexity other than that undertaken by the British in India has been carried out anywhere else in the world. I know it is not fashionable to say this, but it remains a fact. (Ref. Determination of the geode of the Indian sub-continent in order to ascertain the height of Mt. Everest.)

      Best wishes!

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      How appropriate is our current approach to evaluation?

      In my previous comments to this forum, I have underlined some aspects of evaluation, which I find difficult to justify. As it is currently understood, evaluation seems to be restricted to the result of a project/programme with reference to a formal list of what it is intended to achieve. Shorn of graphs, tables, etc., and a descriptive text, this is the gist of evaluation today. But can it really inform us of anything more than its methodological incompleteness? We would prefer to think otherwise, but our desires and hard reality are two different things.

      I think it will be generally agreed that the purpose of any rational agriculture project to promote youth participation in agricultural pursuits would be the following:

         1. Induce greatest possible number of young people to engage in agricultural activities.

         2. Make a significant contribution to a sustainable local food production not opposed to the food culture of the area. Sustainability of this depends on its being environment friendly and supporting bio-diversity in agriculture.

      The above two points are logically  inseparable.

      The contributors to the present discussion have emphasised two points, viz., education and financing, while making a tangential reference to 'making agricultural pursuits appealing' to 'modern educated youth'. I do not quote verbatism here, but the contributor's meaning is clear. It is concerned with 'educated' youth.

      As far as I know, most young people who flee into the cities throughout in the world come from predominantly agricultural rural areas, where the educational and health facilities are of low standard. Thus, most of the youth who reject agricultural pursuits are not well-educated either to procure employment that would pay them enough to live out of poverty. This accords with the reality; one only needs to take a cursory glance at the million-dweller slums around the big cities in the developing world and the surrounding villages that are generally populated by the elderly and small children.

      I think this is the backdrop against which a fruitful discussion of this issue may be undertaken. Do please note that it is in such countries that food shortages, hunger and malnutrition predominates in the world even though their leaders boast of some of their citiesas paragons of 'economic growth'.

      Other things being equal, it is reasonable to ask will diployment of materail and technical resources would induce the young people to take up agricultural pursuits even if decent incomes are assured? Would they be then willing to stay in situ and take up the plough or leave slums to do so? I am perfectly aware that no one seems to dare ask this question, let alone answer it even though everybody knows this is true and it is an incontrovertible fact.

      Senn in this dismal light, evaluation with respect to the present purpose offers us an indirect insight, viz., it is vital to carry out a sound pre-implementation evaluation of any undertaking to ascertain its probable success. This must be carefully distinguished from its feasibility which is merely mechanical.

      Let me hint at a possible recommendation a pre-implementation evaluator might make. Let us ask the question, what apart from poverty drives the youth from food production? This is not political rhetoric, for every big city in industrialised countries has its own slum where slum-dwellers have lived for generations in poverty, and crime is a common feature there.

      Even though this cannot be turned into colourful  graphics, impressive figures or into a learned dissertation, I maintain the rural youth are drawn into cities and away from agricultural pursuits fro three reasons, viz., 'the bright lights' of the city as portrayed in fiction, films, tv., videos, etc., belief that one could quickly get rich there, and most of all, denigration by the rest of the society of agricultural persuits as inferior work. One only needs to look at how various European languages  call their farmers in informal speech to see how ingrained such beliefs are.

      Whilefully agreeing on the importance of appropriate infra-structure, financing, health care,education and above all on-the-job training,, I believe that it is essentail to bring about a radical change in our social attitude to food production and those who are involved in it. At the same time, it is necessary to portray the life of an average city-dweller as it is, but not as the make-belief city-dweller known to many a rural youth.

      Perhaps it might be salutory for the general public to understand that provided that they had air and water, nothing else could have any value for them unless they have enough food, for then they all would be dead. Hence, it is those who are involved in food production who makes everything we value as civilised possible to create and sustain. Hence, engagement in agricultural pursuits should be highly esteemed. All this is obvious, but as one of the wisest men of our times once said, "it is the obvious that is most difficult to understand."

      So, any chance of launching a carefully re-evalued undertaking to re-mould the current public perception of agricultural pursuits? Any possibility of inducing those responsible to portray city-life as it is for most city-dwellers? Unless these happen, the prospects of success seem dismal, and yet there are a few bright spots where dedicated people have succeeded in inducing youth not just to engage in food production, but to do so in line with the local food culture because they care. Perhaps they may serve as beacons to the future as the monasteries did during the dark ages.

      Best wishes!

      Lal Manavado.

  • Using synthesis and meta-analysis to make the most of evaluative evidence: what is your experience?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Dear Carlos,

      Just a few supplementary remarks on the subject; strictly speaking, they may not seem relevant, but I think one has to be a pragmatist in order to use a synthetic approach to attain a goal. In my view, pragmatism is implicit to synthesis.

      Therefore, taking every factor that has a bearing on a successful outcome becomes a logical necessity every synthesis should embody. This entails a comprehensive analysis of not only documented data, but also the specific external contextual variables like the needs and capacities of the potential beneficiaries (real people in the target area) and the resources at one's disposal to implement and sustain a given project or plan. Obviously, this has to be undertaken before planning a project based on a holistic synthesis of the relevant facts as revealed by the pre-project analysis. At this point, I think it would be very useful to carry out a pre-implementation evaluation of the planned project so that its strengths and weaknesses could be ascertained before actual implementation.

      If this is tenable, then meta-analysis by itself would not  be sufficient to underwrite the success of a project, and it may under certain conditions give one a false sense of completeness and correctness that could be undesirable. Hope this would be of some use.

      cheers!

      Lal.

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      I am happy to see this most timely question raised at this time, soon after the previous discussion on the difficulties in ensuring adequate funding for agriculture.

      A synthetic approach by definition, involves paying due attention to every influence, positive and negative that bears on achieving a clearly defined objective. In my experience, this seems to be the most difficult thing to achieve even when sufficient material and guidance is clearly available. Let me be explicit.

      First of all, there is a common belief that evaluation ought to be on some result with reference to a plan or a 'project specification' if you will. This is akin to checking whether some product meets a manufacturer's specifications and costings. This approach seems to be attractive because of its 'clear-cut' and scientific' nature. But, how useful is this in real life?

      When applied, this method would evaluate as successful any 'prestige project' as long as it meets the project specifications and budget. Its inadequacy lies in that it ignores taking into account its utility to its supposed beneficiaries. accruing Such potential benefits depends on the beneficiaries' need for it and their ability to use the project product with sufficient skill. An up-to-date cardiology unit in a remote area of a poor country where health personnel a problem is an example of such a potentially successfully completed but rather a useless project.

      A synthetic approach would have ascertained the greatest health needs of the people of such an area, the available man-power, ensured a sustainable funding mechanism, maintenance  capabilities before a project design is undertaken. I firmly believe what is most important is such a pre-project evaluation before one can carry out a meaningful post-project one.

      You would have noticed that in a holistic synthetic approach one distinguishes clearly between the 'theoretical' project on paper and the real one that represents people doing their assigned tasks. Without the latter, a project is nothing but paper, but when what is on paper takes into account not only the abilities, but also the frailties of the people involved, it would be justifiable to evaluate a project plan a very useful guide to action.

      I know my views are not those of the majority of the experts. But as a synthetist and an analyst, I think my approach is justifiable, for it looks at a project as a set of actions by some people  to enable a target group to achieve some desirable goal in a sustainable way.

      Thank you.

      Cheers!

      Lal Manavado.

       

  • Enhancing funding and service delivery in agriculture: any ideas?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      I've read the discussion so far with great interest. It would be fair to say that the question boils down to two aspects of the matter, viz.,

         I. Total amount of funds actually at the disposal of the government (or for that matter any organisation).

         II. Willingness and the ability of the 'fund allocators' to do their job honestly and skillfully.

      This condition, 'honestly' is not very easy to achieve even in the so-called 'mature democracies'. I will not try to address the issue of how to obtain funds in the first place even though it is very important as Prof. Tinsley has noted in his contribution.

      Assuming that the funds are available, we now face the question of 'willingness' of the allocators to provide support in a justifiable way. The ability involved here is an allocators capacity to assign funds in a justifiable way. However, the willingness to do so may not obtain for several reasons, viz.:

         1. Corruption in its many forms.

         2. Incompetence and indifference.

         3. Near fanatical belief in 'development theories'.

      This list may not be exhaustive, but we would be naive to ignore its awful effect on our way forward.

      Finally, the question of justifiability; a justifiable allocation of public funds (aid or tax income) represents provision of funds to various efforts in proportion to their significance towards enabling people to meet their fundamental needs, which I have fully described elsewhere. These are nutrition, health, education, security,procreation and what I have called our non-material needs. The last is so called because their satisfaction does not involve any material gain, eg. aesthetic enjoyment, playing games, etc. As agriculture is the principal means of meeting our nutritional needs, it should receive due priority. After all, after air and water, food is the most important thing for us. Without it, political or religious creeds, rights, etc., are only of an academic interest.

      Best wishes!

      Lal.

       

  • Recurring errors in public policies and major projects: contributions and solutions from evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      I think your questions can be given generic answers, whose importance may vary according to the prevailing local conditions. I would like to underline that no 'development effort' will be free of some or all of them irrespective of the political maturity and economic status of a country. After all, even though great deal of lip service is done to deal with 'thinking in silos', precious little is being done to guard against 'working in silos' throughout the world. Let us always keep this distinction in mind if we wish to be realistic.

      Now to the questions:

      • What are the most common mistakes made in your country?

      The greatest mistakes are the failure to ascertain the following before a project/plan is designed and executed:

      1. Are the beneficiaries willing and able to derive sufficient real benefits from it with reference to their abilities and expectations and not according to those of some distant planners?

      2. Are there sufficient local resources both physical and human, needed to make the best use of what has been planned? For instance, there is no need for a multi-million Dollar bridge to transport a couple of tonnes of vegetables to a nearby city.

      3. Does the area/country has sufficient technical skills and financial resources to maintain the end-result on its completion?

      4. Are there other better alternatives to the current proposal? For instance, in an area where high unemployment rates obtain, it would be more appropriate to select a labour-intensive alternative than a capital-intensive high tech one. After all, the purpose of every development effort should be to enable as many people as possible to secure a decent livelihood.

      This list is not exhaustive, but I think its general drift is quite clear.

      • To what extent do you think these mistakes could have been avoided with better use of evaluation, or that evaluation could contribute to the success of policies and major development projects?

      This is indeed a tricky question. If we speak of evaluation in a very narrow technical sense as it is often done, it can not be of much use here. However, if we are willing to work out of silos as it were, and opt for a holistic notion of evaluation, it could make a significant contribution. That 'if' is logical.

      Let me explain; if we are planning to evaluation not the mere hardware of en effort say a hospital or a bridge, and extend our activities to its intended purpose, i.e., benefiting a group of real live people, then it would be invaluable. This might be called pre-effort evaluation of possiblebenefits made with reference to the 4 points above.

      • Have the results of evaluations allowed to amend the failures of public policies and development projects?

      If evaluation is only concerned with 'the hardware', it could influence policies and implementation strategies only insofar as they are concerned with the end-result, but never with its benefit yield to real people. For example, better bridge building strategies can result in better bridges, but that does not address the question of their utility. So, it would be reasonable to suggest that only holistic pre-evaluation could be of use in better policy design and implementation strategies.

      • Have public policies and projects developed subsequent to the conducted evaluations taken into account previous errors and corrections?

      Another contributor has already made many perspicacious remarks on this.

      Best wishes!

      Lal.

  • What can we do to improve food security data?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      I think an answer to Dr. Houngbo that reflects reality as it is, and not what we would like it to be, would sound very discouraging. I  believe that contrary to the common belief, it would be unwise to trust implicitely data on nutrition even from the affluent and technically advanced countries.

      Perhaps, this question may underline with sufficient force the limitations one would have to face in policy formulation in general and that with respect to nutrition in particular. Consider the general methods in use to ascertain the adequacy of nutrition even in a small area.

      1. Bio-metrics with reference to age, sex, etc.
      1. Does one has a ‘valid’ baseline for comparison?
      2. How long should one monitor to arrive at such a baseline?
      3. What guarantee does one have that food intake of the participants could or would remain constant during the monitoring period?
      4. In the absence of prior group specific values, how does one determine what would be an adequate diet for each test category during the monitoring period?

      Well, I could describe some more difficulties, and this is only on establishing a baseline for comparison.

      Then of course, we have the usual difficulties regarding transport, monitor competence, inadequate numbers, not to forget people’s willingness to participate.

      Some have proposed a work-around or an indirect method, which would have been amusing had it not been put forth as a solution to an important problem. It is to monitor the consumption of various food items in an area. The untenability of this method is too obvious to be elaborated.

      I know that I sound most discouraging. But, haven’t we perhaps placed too much trust in numbers because of their ‘seeming’ objectivity? After all, numbers are no more objective than any man-made symbol. Do we think something is automatically the way forward, because it looks like being scientific?

      Our notion of science can totally mislead us just as any other belief system could. As soon as we say, X is f and that is an absolute fact with the firmness of any fanatic, out flies the science.

      So, can we think of some other approach? It could use statistics for what it is worth as an adjunct, but let us base our policies on agriculture and food distribution on common sense and the applicable norms of nutrition. By applicable, I mean food needs of the local people in line with their food culture as much as possible. Then of course, the powers that be should do all they can to ensure that the facilities are available to local people to produce enough food, a fair distribution and most important making it available at affordable prices. A well-planned and sustained cooperative endeavor free from monopolies seems to be the only way forward, if none is to be left behind starving.

      Value of food stems from it being essential to life, not because  it forms ‘value chains’ that enrich a host of intermediaries.

      Best wishes!

      Lal.

  • What can evaluations do in terms of capacity development?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      Naturally, it is important to enhance the skill of evaluators; but apart from some general considerations applicable to every evaluator, one must not overlook the wide variety of projects involved, makes it necessary for an evaluator to develop certain skills specific for each project type. For instance, the skill needed to assess a road is categorically different from what is needed to evaluate the successful completion of a health facility, say, a hospital.

      Let us assume that a given project has been successfully completed, and an excellent evaluation has been made. Is it reasonable to assume that is all what's required? Some may be tempted to say, what else? We've done what we've been hired for, and now our job is done well. True, as far as it goes.

      If we are content with that, I think we have missed something crucial. That is simply this; when the celebrations are over and project personnel and the evaluators depart, how well will the beneficiaries utilize what has been put in place? Would they be able to undertake necessary maintenance and improvements on their own? Would they be able to make good use of it? Or would it remain a successfully completed monument to the planners' lack of sense of proportion? In other words, a white elephant or a prestige project of little or no utility.

      It is this aspect of capacity building I tried to bring to the fore in my first comment on this subject. I believe it is the duty of an evaluator to ascertain the public's ability to use what is planned, and if necessary to induce the planners to incorporate into project plans measures to enhance user's competence to benefit from it.

      Cheers!

      Lal Manavado

      Senior advisor

      Norwegian Directorate of Health

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Dear Luisa and Lavinia,

      The Extent of Capacity Development as an Indicator of Success.

      I am happy to see this long neglected aspect of evaluation has received the attention it deserves. Other things being equal, one has too often seen otherwise successful endeavours quietly fizzle out when the outside professionals had left it. The reason is simple: when a project has been completed, the locals in charge simply lacked the know-how and skills needed to run it efficiently, maintain it or a combination of both.

      It is impossible for a pragmatist envisage a just ‘one off’ project, i.e., when it is successfully completed, no further human effort is needed to keep it going. Of course, one may argue that running a refugee camp provides a good counter-example, because once all the refugees have been properly assimilated into the host society or repatriated, the project is truly finished. But, in real life, one seldom sees such except in a few rather affluent countries. Besides, vast majority of projects evaluated are concerned with enhancing the daily lives of ordinary citizens of a country.

      Therefore, it stands to reason that when planning a project, it is vital to its success to begin with the overall purpose of the effort. It is simply to improve some aspect of daily lives of some target group. At this point, it is so easy to let a planner’s reductive imagination soar above the rosy clouds. We have already seen two examples of that in the previous EVAL-ForwARD forum, viz., a road and a bridge.

      I think it is crucial that the evaluators come in at this point to emphasize that unless it can be established beyond any reasonable doubt that the potential beneficiaries of a project are willing and able to derive its benefits, it would be futile to initiate it.

      Never under estimate their willingness and ability. Many successfully completed public health projects languish unused, for the culture of the intended beneficiaries does not value good health as highly as it is done by other cultures. Likewise, desire for prestige has driven some to plan advanced telecom networks to provide cellular telephony to rural youth. Here, their ability to use them for ‘developmental purposes’ has been overlooked. Facts are simple; areas involved lack good basic road transport and the target group is hardly literate. So, cell phones will provide a source of entertainment and long-distance gossip. Hardly a benefit especially in view of its cost and the consequences.

      After these longish preliminaries, let us assume that the project involved is indeed appropriate i.e., it will really benefit the target group because the members of it are willing and able to use it. Capacity building cannot influence this willingness for it belongs to another category, but it is vital to one crucial aspect of this ability viz., the ability to run the project well and to keep it in running order while undertaking the improvements it needs in the long term.

      I am not certain to what extent the capacity of the public to benefit may be enhanced unless it is integrated as an essential component of a project. This is especially true in cases where the overall objective has been to improve public nutrition. Other things being equal, a project to increase food production would not lead to better nutrition unless the target group has an adequate dietary competence, i.e., knowing what to eat, how to prepare it, etc.

      So, it would be reasonable to affirm capacity building is an indicator of success in evaluation, and ought to be incorporated into a project at its inception. However the question, whose capacity and to do what, needs careful consideration. At the theoretical level, one can distinguish between two sub-groups in a target population, the overall beneficiaries and those who are expected to continue the operation of a project on its completion. I hope this might be of some use.

      Cheers!

      Lal Manavado

      Norwegian Directorate of Health, Norway

  • Is this really an output? Addressing terminology differences between evaluators and project managers

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Greetings!

      While I fully appreciate the evaluation problems caused by the mismatch between the achievement of 'deliverables' and their actual human benefits, I nevertheless cannot help thinking this is a problem we have created for ourselves. It's just another instance of the difficulties every reductive approach entails.

      Consider for a moment what would have happened with that 'road' if the planners asked themselves a few simple questions like:

        1. What's the likely daily volume of wheeled traffic on it?

        2. How many living in the vicinity of that road will be using it? And for what purpose? Etc, etc...

      In a very affluent industrialized country in the North, a similar thing happened. It involved a very expensive bridge in a distant area intended to link a moderately inhabited island with the main land. The intention was to enable the people living on the island to travel to work on the main land without having to take the regular ferry. The outcome was interesting to say the least.

      The islanders used the bridge to move their goods and chattels and settle down in the main land closer to their places of work, while keeping their old homes as summer houses! It was hoped to finance the bridge at least in part, by the daily toll drivers would have had to pay, but this became less than insignificant.

      So, the lesson is obvious, but then, what is obvious seems to be the most difficult to understand.

      If before planning begins, one achieves a clear understanding of what would really help the potential beneficiaries of a project and balance it against their actual ability to derive those benefits from it, one would arrive at some realistic set of goals. Then, it would be easy to design a project where the gap between the abstract 'deliverables' and real benefits is minimal, thus making the evaluator's task easier and pertinent.

      At the risk of being accused of unseemly levity, a fairly unusual example here would be a project to supply mountain mules to the farmers in High Andes cultivating say quinoa in their fields. This seems to be the most effective way to help them to transport their surplus food to the nearest market. Lack of good roads, high expense in road construction and maintenance, length and cost of training people, and most of all, the time all these take will make the traditional beast of burden a not so comical a choice.

      Best wishes!

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Norvège

      Dear Mustafa,

      Thank you very much for a brilliantly reasoned analysis of the issues Natalia presented. My interest in the field is not as a practioner, but rather as someone who is aware of the importance of continuous monitoring and evaluation as a necessary condition for the success of any project. Your clear distinction between the ‘deliverables’ and their actual usefulness is crucial, and as you point out, often overlooked.

      Cheers!

      Lal