Daniel [user:field_middlename] Ticehurst

Daniel Ticehurst

Monitoring > Evaluation Specialist
freelance
Royaume-Uni

Daniel is a reluctant evaluator, his passion is monitoring with a focus on listening to and learning from those who deliver the support and those who matter most- their clients or ultimate beneficiaries. He strongly believes it is to them, not donors, organisations and programmes should be primarily accountable.

Daniel’s skills are in advising and mentoring in:
• facilitating development and reviews of theories of change and results frameworks, preferably one or the other, certainly not both;
• reviewing, establishing and developing thoughtful monitoring and learning processes and products in organisations and programmes;
• fostering cross team and portfolio learning; and
• designing, oversighting and leading different types of evaluations – ex ante, process and impact - that are utilisation focussed.

Daniel holds an MSc in Agricultural Economics, with a focus on Agrarian Development Overseas, from London University as well as a BA in Geography from the School of African and Asian Studies, University of Sussex.
He lives North of London with his Mosotho wife, Tsepe and has two children – Thabo and Ella. He plays tennis and volunteers at the King’s College African Leadership Centre, University of London and the Woodland Trust.

My contributions

    • Cher Ravinder,

      Merci beaucoup pour votre sujet de discussion sur l'agroécologie et son appel à l'explication et à la mesure de sa valeur. Vraiment intéressant, d'où cette réponse. Par coïncidence, j'ai travaillé au Natural Resources Institute de 1997 à 2002, bien que je n'aie jamais atteint le rang de professeur associé 😏.

      J'ai trouvé votre première question, "cachée" dans votre introduction, géniale, et j'ai donc essayé d'y répondre. Je fournis ensuite, je l'espère, quelques références utiles en guise de réponse à votre troisième question sur les preuves disponibles. 

      1. Mais comprenons-nous vraiment la valeur de l'agroécologie en termes de contribution potentielle à la réduction de la pauvreté, à la santé humaine et à l'environnement ?

      Je pense que l'impact environnemental de la production alimentaire reste largement incompris. L'agriculture moderne n'est pas une bataille entre les "bons" agriculteurs biologiques et les "mauvais" agriculteurs industriels.  Ce n'est pas parce qu'une exploitation est biologique qu'elle a contourné les inconvénients environnementaux et sociaux de l'agriculture à grande échelle. Les exploitations biologiques, par exemple, peuvent toujours avoir recours à une approche de monoculture préjudiciable. Il s'agit plutôt d'une alternative entre les monocultures stériles d'un nombre limité d'aliments et une approche plus diversifiée de l'agriculture. Il s'agit plutôt d'une approche plus diversifiée de l'agriculture, qui associe l'écologie unique d'un lieu particulier aux connaissances des agriculteurs locaux sur la manière de rendre leurs paysages utiles à l'homme : L'agroécologie. C'est le seul moyen de nourrir une population en croissance rapide sans détruire la planète. De nombreux agriculteurs pratiquent ce que l'on appelle "l'agriculture intelligente face au climat". Le problème, c'est que souvent nous ne les connaissons pas. Pire encore, nous ne cherchons pas à les découvrir et à apprendre. Plus souvent qu'on ne l'espère ou qu'on ne le prévois, le point de départ est que les institutions de recherche peuvent leur offrir des moyens de pratiquer "cela". L'exemple de M. Zepheniah Phiri, un innovateur indigène, est un merveilleux exemple d'agriculteur agroécologique (voir plus loin). L'opportunité de soutien ne consiste pas tant à étendre les pratiques agricoles intelligentes sur le plan climatique à lui et à son exploitation qu'à étendre son approche à d'autres (et de préférence pas par l'intermédiaire d'écoles d'agriculture de terrain !)

      Passons à la suite. La productivité de près de la moitié des sols de la planète diminue. Quinze autres pour cent ne peuvent plus être utilisés pour l'agriculture en raison de l'appauvrissement de leur biologie. La biodiversité diminue également. Regardez l'Afrique : Les zones de jachère ont pratiquement disparu. En moyenne, le taux de jachère est de 1,2 % et les jachères ont pratiquement disparu, à l'exception de la Tanzanie (7,8 %) et, dans une moindre mesure, de l'Ouganda (5 %). En conséquence, les agriculteurs africains ont plus que doublé les augmentations annuelles des terres cultivées, qui sont passées de 1,7 million d'hectares en 2004-2007 à un peu moins de 4 millions d'hectares en 2016-2019. Les gains de production ont été réalisés grâce à une augmentation de la surface cultivée, c'est-à-dire par opposition aux gains de productivité. Cette situation contraste fortement avec celle du reste du monde, où les augmentations de production ont été réalisées exclusivement grâce à des augmentations des rendements physiques. Des études ont montré que si l'Afrique ne progresse pas en matière de rendement des cultures, elle perdra une grande partie de son habitat naturel au profit des terres agricoles. Dans de nombreux pays d'Afrique subsaharienne, les chercheurs estiment que les terres cultivées pourraient presque tripler d'ici à 2050. Cela se fera au détriment de la faune et de la flore : selon ces mêmes projections, 10 à 20 % des habitats des animaux seront perdus.

      Pour certains petits exploitants, l'adoption d'une approche agroécologique de l'agriculture est une option. Une approche qui rend leur exploitation plus robuste et les protège ainsi des ravageurs et des conditions météorologiques débilitantes. Une telle approche permet également de réparer certaines des dégradations environnementales causées par l'agriculture conventionnelle en restituant des nutriments au sol. Cela étant dit, il convient de noter que: 

      1. Les petits exploitants agricoles africains, contrairement à leurs homologues européens, sont taxés sous la forme de subventions des prix à la consommation urbains et n'ont pas la possibilité de se faire entendre et de réformer cette ingérence de l'État. 
      2. Il n'y a que peu ou pas de preuves que ces pratiques augmentent les rendements dans la mesure nécessaire. 
      3. Elle suppose que les ménages agricoles, dont la contrainte contraignante est souvent la main-d'œuvre et non la terre, seront en mesure de consacrer plus de temps à l'agriculture de cette manière lorsque les membres du ménage souffrent de malnutrition ; et, dans le même ordre d'idées. 
      4. Pour certains ménages, la sécurité alimentaire n'est pas nécessairement mieux assurée par la production propre.

      Les techniques agroécologiques remplacent les "cycles vicieux" qui détruisent nos systèmes de soutien planétaire par des "cercles vertueux" qui imitent les systèmes naturels. Par exemple, l'agroécologie peut restaurer la fertilité des sols et séquestrer naturellement le carbone au lieu de le rejeter dangereusement dans l'atmosphère ou de l'acidifier dans l'océan. Son approche du cycle des nutriments - où l'azote passe encore et encore par les systèmes alimentaires, les racines et les sols - peut transformer les déchets en matières premières plutôt qu'en polluants.

      Comme nous l'avons déjà mentionné, les indicateurs de performance actuels de l'agroécologie ne tiennent souvent pas compte du type de multifonctionnalité décrit ci-dessus. Ils se concentrent plutôt de manière disproportionnée sur la productivité et la rentabilité. Cela limite l'évaluation des multiples valeurs économiques, environnementales et sociales créées par les systèmes agricoles agroécologiques.

      3.    Existe-t-il déjà des preuves empiriques démontrant ou réfutant la valeur de l'agroécologie ?

      Voici quelques exemples qui, si vous ne les avez pas déjà vus, vous aideront, je l'espère.

      Un aperçu systématique des effets des pratiques agroécologiques sur les indicateurs socio-économiques à l'aide d'un cadre de moyens de subsistance durables. 

      Les pratiques agroécologiques apportent également des avantages secondaires aux régions rurales pauvres. Cette étude a montré que ce type d'agriculture étant à forte intensité de main-d'œuvre peut créer de précieuses opportunités d'emploi dans des communautés qui en manquent. En outre, l'accent mis par l'agroécologie sur la biodiversité améliore considérablement la nutrition dans de nombreux pays en développement, en particulier dans les régions autrefois tributaires de systèmes céréaliers produisant de grandes quantités de riz, de blé et de maïs, qui manquent de micronutriments vitaux. https://www.researchgate.net/publication/283721240_Social_and_economic_ ... et ici : https://www.iatp.org/sites/default/files/2019-06/2019_06_11_Agroecology

      Étude de cas d'un agriculteur 

      Un de mes mentors inspirants - le maître récolteur d'eau M. Zepheniah Phiri du district de Zvishavane, au Zimbabwe - a déclaré que les systèmes agricoles devaient "rimer avec la nature" s'ils voulaient être durables. L'exploitation agricole de M. Phiri a intégré la compréhension scientifique à ses connaissances sur la manière de rendre ses paysages locaux utiles à l'homme. Il a souligné la valeur des méthodes diverses et complexes de gestion des terres. Son approche réintègre le bétail, les cultures, les pollinisateurs, les arbres et l'eau de manière à ce qu'ils puissent s'adapter au paysage.

      Contrairement à d'autres systèmes agricoles qui reposent uniquement sur des plantes annuelles qui poussent rapidement pendant les brèves périodes de pluie, ce système se concentre sur les plantes vivaces, ou du moins sur des espèces pluriannuelles comme les bananes, les roseaux, le bambou, la canne à sucre et l'igname. Grâce à leurs racines profondes et étendues, elles peuvent accéder à l'eau et aux nutriments à un niveau plus profond. Les racines ont également un effet stabilisateur, en fixant le sol et en empêchant l'érosion superficielle par le vent et l'eau. Comme les racines ralentissent le ruissellement de l'eau, elles peuvent aider à gérer les cours d'eau et à éviter les situations de sécheresse ou d'inondation soudaine.

      La grande diversité des cultures, du bétail et des autres produits lui assure un revenu stable et résistant aux vicissitudes des crises, des cycles et des changements économiques et écologiques. Il est devenu très résistant aux sécheresses, car il met beaucoup plus d'eau dans le sol qu'il n'en retire. Phiri pratique une grande diversité de rotations de cultures, adaptées aux différentes conditions de sol et d'eau et permettant de gérer les mauvaises herbes, les parasites et les maladies. 

      https://afsafrica.org/wp-content/uploads/2019/04/water_harvesting_zimba...

      Le projet Foresight Global Food and Farming Futures (avenir de l'alimentation et de l'agriculture dans le monde) 

      Ce projet a passé en revue 40 projets agroécologiques dans 20 pays africains. Entre 2000 et 2010, ces initiatives ont permis de doubler les rendements agricoles, ce qui s'est traduit par près de 5,8 millions de tonnes de nourriture supplémentaires. Mais l'agroécologie ne se contente pas d'augmenter la production des exploitations agricoles. Elle valorise les relations des agriculteurs avec leurs terres et leur connaissance de celles-ci. https://assets.publishing.service.gov.uk/media/5a7e00c6ed915d74e33ef6a8...

      Développer les approches agroécologiques : quoi, pourquoi et comment ? 

      Un document de discussion utile produit par Oxfam en 2014 qui fournit un grand nombre de preuves démontrant comment une mise à l'échelle efficace des approches agroécologiques peut contribuer à garantir des systèmes agricoles et alimentaires durables et résilients aujourd'hui et à l'avenir.

      https://www.fao.org/fileadmin/templates/agphome/scpi/Agroecology/Agroec...

      Je vous remercie.

    • Dear Emily,

      Many thanks for the interesting and thought-provoking blog. 

      In reading it, I also skimmed the documents to which you provided links. The report on the Digitalisation of African Agriculture by the Technical Centre for Agricultural and Rural Cooperation ACP-EU report on was particularly revealing. First my thoughts on this, then those on the blog itself. 

      1.    The CTA Report on the Digitalisation of African Agriculture

      The hope that that D4Ag could be a game changer in boosting productivity, profitability, and resilience to climate change. This assertion is riddled with many assumptions. 

      Two points: 

      First, potential jobs for 75% of unemployed African youth may be, what about how this transforms African agriculture and the lives and livelihoods of farmers? I question the significance of how the absence of digital solutions offers a significant reason as to why smallholders are disconnected from input and product markets. The absence of a solution rarely explains the underlying problem. I also worry about what Varoufakis calls Techno feudalism  - the tyranny of big tech - and the effects of D4Ag going to scale, who the main beneficiaries are, and who pays the rent. A bit of a counter-culture, and pours water on the tech parade, but Yanis Varoufakis makes some intriguing points. 
      https://www.theguardian.com/world/2023/sep/24/yanis-varoufakis-technofeudalism-capitalism-ukraine-interview

      Second, if the  EU is serious about supporting the transformation of African Agriculture, it would: 

      • Do a lot more than co-finance the African Continental Free Trade Area’s (AfCFTA) Secretariat in Dakar - one of Agenda 2063’s flagships - and look beyond mimicking China’s belt and road support through the $150 investment allocated for the Global Gateway. A good start would be to cancel its main trading mechanism with the continent  - the EPAs and pressure African governments to stop taxing its farmers: a policy that contradicts what Africa needs as defined by the AfCFTA; and a policy that largely explains the constraints to achieving yield gains. 
      • Reform its CAP that facilitates the dumping of food on domestic African markets; inhibits Africa’s aspirations to grow its agricultural economies through extortionate non-tariff barriers to African exports; and, equally important, taxes European consumers and wreaks havoc with European ecosystems through biodiversity losses and greenhouse gas emissions.   

      The adverse effects of the above are arguably the main reasons explaining Africa’s food import bill, their continuation its projected increase.

      In addition to the above comment on youth, technofeudalism, and the policy and regulatory constraints, I found the YouTube clip  - Key Figures from the Report - to be cleverly presented but thin. For example, the projected 22% decline in yields on the continent, I submit, is not the main and most important consequence of climate change as much as the growing presence of D4Ag can resolve so stimulate increases in yield, let alone those in farmer incomes. Biodiversity loss is the main significant consequence. Why? Fallow areas have virtually disappeared in Africa. On average the rate of fallow is 1.2 percent with fallow having all but disappeared except for Tanzania (7,8%) and less so Uganda (5%). The result of African farmers more than doubled annual increases in cropped land from 1.7Mha in 2004- 2007 to just under 4Mha in 2016-2019. For the most part, production gains have been through an increase in area under cultivation; that is, as opposed to gains in productivity. This is in stark contrast to the rest of the world where production increases have been realised exclusively through increases in physical yields. This expansion of agricultural land has taken over natural ecosystems and has been the biggest driver of the destruction of Africa’s biodiversity. Defining success has to do more than claiming incremental increases in farmer yields and associated gains in smallholder incomes typically reported by many NGOs and donors that are typically used to justify the project investment. I don’t believe the issues facing Africa’s farmers can be resolved by projects anymore.   


      2.    The blog itself. 
      A great problem statement: “But MEL is often imposed by donors to track the impact of their funding, and service providers often associate it with tedious reporting and struggle to see its value.”.  

      But isn’t it too easy to blame donors, and assume they know what information they need and when and what decision uncertainties they face? Consulting companies, the agents of donors, rarely negotiate information requirements. They see the donor as the ultimate client and lack a balanced accountability arrangement with those in need/those they are paid to support. Projects often resemble a traded commodity trapped in a client/agent relationship. 

      And the default measure of crop yields? The obsession, almost an indicator fetish, with using crop yields as a valid measure of success for agricultural projects, was called out back in the early 1990s’. See a blog I wrote on the pitfalls of having this as a valid and useful pursuit. Its use is a cockroach M&E policy measure: you think it was flushed away; yet keeps coming back!!! (Sorry)

      It would be really interesting to learn more about the MEL approach you designed for the GSMA Innovation Fund for the Digitisation of Agricultural Value Chains – who did you read/talk to on developing the approach? 

      I like how you saw and pursued the need to re-brand M&E and adapt its tools to effectively collaborate with private sector partners. As part of a study on impact investing back in 2020, I stumbled across what I thought was a great example developed by Leapfrog, an impact investor in the financial services sector. Its approach to capturing customer experience and making services more service user/client-centric reminded me of the pioneering work of Robert Chambers and Lawrence Salmen in the development aid sector back in the 1980s. Feedback loops and treating farmers as the subject of conversations on issues that matter to them; as opposed to objects of a survey on matters that concern the donor. Leapfrog’s approach is documented here if you are interested. https://leapfroginvest.com/press-release/creating-impact-with-leapfrogs-cx-launchpad-program/

      I completely agree that when designing MEL frameworks, it is useful to reflect on the value proposition of MEL; one that balances the information requirements among a “hierarchy of users” and doesn’t divorce itself from so is seen in isolation with other people and processes – financial control, learning, decision-making, and delivery. More often than one would hope or expect, the process starts on the wrong foot by developing a theory of change and/or a results framework and “slides downhill’ from there. But, I was left wondering why GMSA did this with the private sector. Why isn’t this done for all M&E frameworks?  

      Your approach involved running three quantitative surveys per service to gain smallholder feedback on services, which also helped you report on outputs and early outcomes KPIs such as farmer satisfaction with services and behaviour change in farming practices.

      Why three  - to capture seasonality and why quantitative? Won’t this many encourage fatigue to set in just as it appeared to be the case with farmers being swamped with SMS? And, concerning your last screenshot - High SMS reading rate and understanding of advice, but behaviour change challenges remain and the frequency of SMS is too high – how do the numbers inform answers from the enumerators in response to the two questions on the left-hand side? Did your survey design test the assumptions made explicit in the Impact Roadmaps or Project Blueprints as much as measure movements in the relative values of pre-defined indicators (of adoption, for example)? 

      Apologies for the ramble, yet I hope some of the above observations are helpful, and many thanks again.

      Best wishes,

      Daniel 
       

    • Cher Musa,

      Votre point de vue sur l'évaluation menée par les donateurs et ses conséquences est largement correct - les machines d'évaluation de Dahler-Larsen.

        "Le pilotage, le contrôle, la responsabilité et la prévisibilité reviennent sur le trône. L'objectif de l'évaluation n'est plus de stimuler des discussions sans fin dans la société, mais de les empêcher".

      Le fait est que les donateurs financent et conçoivent ces machines. Qu'en est-il de la capacité d'évaluation des organismes donateurs ? Et je ne fais pas référence à l'expertise académique en matière de méthodologie (l'offre), mais plutôt à la politique de la demande.  

      Par exemple, la fonction d'évaluation du DFID, aujourd'hui FCDO, n'a jamais été indépendante - elle a été cachée sous la fonction plus large de recherche - avec les conséquences inévitables que l'on connaît. Tony Blair était fier de son manque d'adaptabilité, car il n'avait pas de marche arrière et ne pouvait pas changer de cap. Il n'est donc pas surprenant qu'une étude indépendante ait attribué au DFID une note rouge en matière d'apprentissage : 

      "Le personnel signale qu'on lui demande parfois d'utiliser les preuves de manière sélective afin de justifier ses décisions. 

      Ce sont souvent les organisations les plus rigides et les plus bureaucratiques qui se félicitent d'être une organisation apprenante. Cela s'est produit, non pas parce que le DFID ne disposait pas de personnel excellent et compétent, mais plutôt parce que les puissants impératifs politiques et institutionnels empêchent de prendre le temps de penser, de réfléchir et d'être honnête. 

      Soit dit en passant, avez-vous ou connaissez-vous des "évaluations" commandées et payées par le gouvernement libérien qui évaluent les performances des donateurs, y compris la FAO, dans le secteur agricole ?

    • Chère Harriet, 

      Merci beaucoup d'avoir suscité cette discussion et, comme Paul l'a dit, pour les liens vers des exemples spécifiques. C'est très utile. 

      J'ai aimé l'exemple du travail avec Financial Services Deepening Kenya (FSD) Kenya à Marsabit et la façon dont FSD Kenya a négocié des partenariats avec CARE et Equity Bank [lien ici] (Il serait intéressant de savoir, étant donné que tout cela a commencé en 2016, dans quelle mesure les groupes de Marsabit s'en sortent et s'ils restent dépendants du contrat de sous-traitance de CARE avec FSD Kenya. Quant à Equity Bank, je me demande si les produits d'épargne qu'elle a vendus aux groupes ont trouvé des "marchés" au-delà de Marsabit).

      Par ailleurs, je voulais partager ma première expérience de l'utilisation d'outils visuels au début des années 1990 au Bangladesh, dans le cadre d'un projet d'irrigation, et les leçons que j'en tire encore aujourd'hui. Ils répondent à vos deux premières questions.

      Je le fais pour deux raisons. Premièrement, je suis d'accord avec Silva Ferretti pour dire que l'utilisation d'outils visuels ne se limite pas à la communication du "résultat" d'une évaluation, mais qu'elle fait également partie intégrante du processus - comme le dit Kombate à propos de la collecte et de l'analyse des données. Deuxièmement, la référence faite par Harvey sur l'utilisation des SIG et de l'imagerie Landsat TM.

      Nous avons "mesuré" la superficie des terres irriguées dans des communautés spécifiques à l'aide d'images Landsat du pays sur une période de trois ans. Nous avons constaté que les superficies irriguées variaient considérablement d'une communauté à l'autre au cours d'une même année et au fil du temps pour une même communauté. Nous voulions savoir pourquoi. Plutôt que de rester au bureau, nous avons dessiné à la main des cartes pour chaque communauté à partir des images Landsat et nous les avons emportées avec nous. Nous avons présenté ces cartes à chacune des communautés dans le cadre de groupes de discussion. Les discussions se sont concentrées sur l'écoute des groupes pour comprendre pourquoi et comment la demande en eau d'irrigation variait autant. Les "résultats" de ces discussions ont permis de tirer des leçons non seulement pour la communauté en matière de gestion des installations d'irrigation, mais aussi pour le soutien du gouvernement local de l'upazilla et les implications pour la politique nationale. Pour moi, c'était une leçon sur le fait que si vous voulez savoir pourquoi et comment les gens réagissent aux interventions au niveau national, il suffit d'aller leur demander et d'apprendre d'eux comment ils prennent des décisions et pourquoi. C'est bien mieux que de rester au bureau et de continuer à manipuler des données.

      J'espère que ce qui précède n'est pas une contribution trop laconique et crue, et je vous remercie encore.

      Meilleurs vœux,

      Daniel

       

       

       

       

    • Chère Seda, quelle belle contribution. Merci. Prouver la qualité de la science est important, mais insuffisant. Cela, et les explications qui l'entourent, n'est pas suffisant pour une organisation qui prétend que son programme de recherche est destiné au développement. Les lignes directrices ne sont pas très claires à ce sujet. Comme vous le dites, et comme j'y ai fait allusion dans ma réponse, vous voulez qu'elles soient plus fortes et plus convaincantes.

    • Chère Svetlana,

      Bonjour et merci pour cette possibilité de commenter les lignes directrices. Je les ai lues avec beaucoup d'intérêt mais je n'ai eu le temps de répondre pour l'instant qu'aux deux premières questions.

      Voici mes réponses précédées d'une mise en garde: je n'ai pas d'expérience en recherche, mais j'ai observé à l'époque où je travaillais avec des scientifiques dans le domaine agricole que la préoccupation de l'époque concernant l'évaluation de l'impact sur le groupe de bénéficiaires finaux, tel qu'il était mesuré à travers les variations des valeurs relatives des actifs des ménages, tendait à masquer le manque relatif d'informations et d'intérêt quant aux capacités et aux possibilités des systèmes de recherche et développement et de vulgarisation avant, pendant et après les périodes d'investissement. Leur rôle essentiel dans le processus était souvent réduit au point d'être traités comme des hypothèses ou des risques pour les "bons" produits ou services scientifiques.

      Cela rendait difficile la possibilité de relier un impact durable sur les bénéficiaires aux informations sur la capacité institutionnelle à l'époque où les produits de la recherche avaient été développés. Cela pouvait aussi expliquer dans quelle mesure le fait de croire aux études sur le taux de rendement (désespérément gonflé) a nécessité de suspendre la croyance, compromettant ainsi les perspectives que les efforts en matière d'évaluation de l'impact de la recherche fassent une grande différence parmi les décideurs.

      Mais poursuivons: voici mes réponses à vos deux questions et j'espère que vous les trouverez intéressantes, voire utiles.

      1.    Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?

      La réponse à cette question suppose/dépend de la connaissance de ces défis auxquels les lignes directrices se réfèrent. À cet égard, la section 1.1 est légèrement trompeuse compte tenu de son titre. Pourquoi?

      L'exposé ne précise pas comment le contexte a changé et par conséquent ni comment et pourquoi cela pose des difficultés pour évaluer la qualité de la science (QdS). Il décrit au contraire l'ambition du CGIAR pour un changement transformationnel à travers une transformation du système – tautologie? – des systèmes agroalimentaires durables, l'innovation génétique et cinq objectifs de développement durable – non précisés. Il conclut enfin en expliquant que, alors que les fondateurs du CGIAR se concentrent sur les réalisations en matière de développement, l'évaluation des interventions du CGIAR doit répondre à la fois aux cadres de la QoR4D (Qualité de la recherche pour le développement) – recherche orientée vers les réalisations en matière de développement – et du CAD/OCDE – orientation vers le développement.

      Les raisons qui expliquent l'insuffisance des six critères du CAD/OCDE pour évaluer les principales activités du CGIAR n'apparaissent pas propres aux activités du CGIAR, par rapport à d'autres aides au développement financées par des fonds publics – à savoir le caractère imprévisible et risqué de la recherche et la longue durée nécessaire pour observer des résultats. Il est vrai, cela peut prendre plus de temps compte tenu de la position du système du CG mais, comme nous l'apprenons tous, les environnements opérationnels sont de manière inhérente tout aussi imprévisibles que les résultats. Le contexte est important. Les résultats défient les prévisions: ils émergent. La recherche scientifique, ce qu'elle offre et l'effet sur le développement qu'elle peut avoir, ne sont sans doute pas aussi différents que le suggèrent les lignes directrices. En ce qui concerne l'évaluation de la recherche scientifique, la spécificité tient aux personnes que le CGIAR emploie et à la nécessité d'assurer un niveau scientifique élevé dans ce qu'elles font – sa légitimité et sa crédibilité. Le fait est qu'il n'est pas évident de comprendre comment ces deux éléments, tirés du cadre de référence QoR4D, couvrent en quelque sorte les spécificités des activités principales du CGIAR et comblent ainsi les insuffisances liées aux six critères du CAD/OCDE. Ou est-ce que quelque chose m'échappe?

      Les différences entre les évaluations de processus et de performance ne sont pas perceptibles dans les définitions fournies au début de la section 2.2. En effet, elles apparaissent extrêmement similaires; à tel point que je me suis demandé – pourquoi en avoir deux quand une seule suffirait? Les évaluations de processus sont considérées comme des auto-évaluations de synthèse du CGIAR alors que les réalisations relèvent du champ d'application des évaluations de la performance. Les évaluations de la performance sont considérées comme plus formatives et reproduisent des lignes d'enquête similaires – l'évaluation de la performance organisationnelle et des modèles opérationnels ainsi que des processus – aux évaluations de processus – le fonctionnement, les instruments et les mécanismes organisationnels et les pratiques de gestion ainsi que les évaluations de l'expérience des cadres, politiques et autres du CGIAR. Aucune mention n'est faite aux hypothèses – pourquoi compte tenu du "caractère imprévisible et risqué de la recherche?" Les hypothèses, par procuration, définissent l'inconnu et devraient être considérées, pour les responsables de la recherche et des évaluations (dans des délais opportuns), tout aussi importantes que les résultats eux-mêmes. Voir ci-dessous.

      L'explication des différences entre les critères de pertinence et d'efficacité définis par le CAD/OCDE avec la QoR4D dans le tableau 2 est limitée. Alors que la distinction à faire pour la pertinence répond explicitement à la question "pourquoi le CGIAR?", celle relative à l'efficacité est beaucoup trop vague (à prévoir et à évaluer). Qu'est-ce qui est si restrictif dans le fait que les raisons pour lesquelles le CGIAR fournit des connaissances, des produits et des services – pour répondre à un problème et contribuer à des solutions innovantes – ne peuvent pas être énoncées comme des objectifs et/ou des résultats? Et a fortiori lorsque les lignes directrices affirment que les évaluations de la performance évalueront ces éléments.

      2. Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)

      Cette section apporte une explication claire et utile des quatre dimensions interconnectées – conception de la recherche, intrants, processus et produits dans la figure 3 qui sont utilisées pour fournir une évaluation équilibrée de la qualité générale de la science.

      Quelques observations:

      "Réfléchir à l'avantage comparé lors du processus de conception de projet peut potentiellement conduire à des partenariats mutuellement bénéfiques, en augmentant l'efficacité du CGIAR à travers la spécialisation et la réorientation des ressources insuffisantes vers la force relative du Système". https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

      1)    En gardant cela à l'esprit, comme mentionné précédemment dans la section 2.3, il serait utile d'expliquer comment la conception de la recherche prévoit de prouver, mais non d'affirmer, que le CGIAR a un avantage comparatif en suivant le processus à quatre étapes décrit dans la note technique précédente. Les étapes qui produisent les preuves permettant d'affirmer que le CGIAR a ou n'a pas d'avantage comparatif pour prendre une décision sur l'opportunité de procéder à un investissement.

      2) Le tableau 3 est parfait pour représenter les quatre dimensions de la QdS avec les six critères du CAD/OCDE et j'ai particulièrement apprécié la note qui le suit sur le GDI (genre diversité et inclusion). Je ne comprends toutefois pas pourquoi le critère de cohérence s'arrête aux intrants et limite son utilisation à la cohérence interne. La cohérence externe est tout aussi importante, si ce n'est plus, et en particulier en ce qui concerne la qualité et la mesure dans lesquelles les produits complètent, s'harmonisent et se coordonnent avec les autres tout comme leur capacité à ajouter de la valeur aux autres tout au long du processus.

      3)    Tout en reconnaissant la centralité d'une forte crédibilité et légitimité scientifiques, il est également important de gérer et coordonner les processus pour obtenir et maintenir la pertinence des produits telle qu'elle est appréciée par le bénéficiaire.

      4)    J'apprécie la description des processus, en particulier la construction et l'optimisation des partenariats.

      5)     Le champ d'application de l'enquête pour évaluer la qualité de la science devrait également se référer aux hypothèses, en particulier à celles qui doivent être maintenues pour que les produits soient pris en compte par l'organisation cible, qu'il s'agisse du Service national de vulgarisation ou de toute autre entité. Il convient de le faire sans rester dans l'attente d'une enquête d'impact ou d'une évaluation de la performance. Je le dis car l'incertitude et l'imprévisibilité associées à la recherche, comme mentionné précédemment, sont liées aussi bien au processus conduisant à délivrer des produits qu'à la gestion de l'hypothèse suivant laquelle le processus le long du cheminement de l'impact, une fois que les produits seront "livrés", continuera. Il ne faut pas s'en rendre compte trop tard. Cette démarche permet d'atténuer le risque de rejet. Une bonne note sur le critère de la qualité de la science ne garantit pas que le produit ou le service est accepté et utilisé par le bénéficiaire en gardant à l'esprit que ce sont les progrès le long du cheminement, et non la qualité de la science, qui motivent ceux qui financent le CGIAR.

    • Cher Richard,
      Je vous remercie de m'avoir fourni le lien vers vos réflexions sur le suivi et l'évaluation. C'est une lecture révélatrice et stimulante. J'ai particulièrement apprécié, tout en étant surpris par la persistance des questions que vous soulevez, notamment :

      # 3 Sur les conséquences limitées des parcelles de recherche (à la ferme ?) en ce qui concerne la diffusion des pratiques/technologies sur les autres parcelles de l'agriculteur et/ou parmi les autres agriculteurs de la communauté.
      Tout ceci est en contradiction avec la recherche sur les systèmes agricoles qui se concentre sur la pensée systémique et le travail de Chamber sur l'agriculteur d'abord, qui remonte aux années 1980. Comment pouvons-nous rappeler ces leçons, et d'autres encore, aux personnes associées aux programmes actuels de systèmes de marché agricole ?

      # 4 Sur la manière dont les donateurs partent du principe que la terre, et non la main d'œuvre, est le facteur limitant et que l'indicateur de choix, pour les non-initiés, est l'accès physique ou financier à la terre - les rendements - sans se préoccuper de savoir pourquoi les petits exploitants agricoles cultivent telle ou telle chose.

       Votre référence, plus loin dans le document, au poème de Kipling "Le fardeau de l'homme blanc" m'a rappelé le livre de William Easterly portant le même titre (emprunté). Son message principal porte sur l'imposition par l'Occident de grands projets conçus par les "amis de l'Afrique" - la Commission pour l'Afrique de Tony Blair, les Villages du Millénaire de Sachs et le programme Feed the Future d'Obama. Dans le domaine de l'agriculture, contrairement à la santé et à l'éducation, les agriculteurs ne sont pas des patients traités par des médecins ou des élèves enseignés par des professeurs, ce sont eux les experts.

      La semaine dernière, EvalForward a proposé un webinaire intéressant de l' UNEG sur l'évaluation et la résilience climatique. Ce qui m'a intéressé, c'est le peu de choses que les évaluations révèlent sur l'agriculture indigène "intelligente face au climat". Le terme semble se limiter à une pratique introduite dans les communautés agricoles sans nécessairement apprendre comment, par exemple, les concepts indigènes de dynamique de l'humidité du sol pourraient expliquer les fluctuations saisonnières et interannuelles contrastées de la productivité agricole, de la nutrition, de la santé, de la mortalité et même des taux de mariage à travers la limite d'un type de sol.    

      #11 Sur la façon dont le suivi et l'évaluation servent davantage à masquer les échecs et leur adéquation avec les attentes des payeurs de taxes. Les machines d'évaluation (sans esprit) de Peter Dahler Larssen définissent un bon exemple de ce à quoi je pense que vous faites référence ici.  Avec Estelle Raimondo, il a présenté un excellent exposé des pratiques d'évaluation actuelles lors de la conférence européenne sur l'évaluation de l'année dernière. En ce qui concerne la question des payeurs de taxes, il y a quelques années, une recherche intéressante a mis en évidence le fait que les payeurs de taxes britanniques ne veulent pas de chiffres, mais plutôt des histoires sur le comment et le pourquoi de l'aide, ou de son échec. Le fait est que le DFID n'est pas responsable devant le contribuable britannique, mais devant le Trésor (qui veut des chiffres). Les chiffres, comme le disent Dahler-Larden et Raimondo, sont l'un des angles morts de l'évaluation. 
       
      Je m'excuse pour ce coup de gueule du lundi après-midi et je vous remercie à nouveau pour votre contribution à l'écriture.

    • Je vous remercie tous d'avoir pris le temps de partager vos expériences et vos points de vue. Je publierai, sur la base de vos commentaires, quelques conclusions et conseils lorsque la discussion se terminera la semaine prochaine. 

      En attendant, j'aimerais apporter quelques premières réponses tirées de vos commentaires.

      1. Pour que le suivi soit utile, il ne faut pas le confier à des personnes qui ne sont pas forcément des juges naturels de la performance, qu'il s'agisse d'employés d'organismes donateurs ou de leurs agents. Il s'agit de personnes qui maîtrisent parfaitement l'élaboration de cadres et de théories du changement, qui utilisent un langage trop compliqué et qui sont familières avec toute une série de méthodologies exigées par le bailleur de fonds. Il est compréhensible que cela décourage de nombreux membres de l'équipe et managers. Cela semble ennuyeux et onéreux. À tel point que, pour certains, il n'est même pas clair qu'il s'agisse d'une profession. Peut-être le suivi n'est-il qu'un processus d'apprentissage artificiel propre à l'aide au développement ?

      2. La mode qui consiste à ajouter des lettres à l'acronyme M&E, telles que L - Learning (apprentissage), A - Accountability (responsabilité), R - Results (résultats), semble être davantage axée sur l'affect que sur l'effet. Comme certains d'entre vous, je me demande pourquoi quelques-uns considèrent cela comme révélateur ou utile. Cela définit la fatuité dans laquelle certains d'entre nous travaillent.

      3. Cela détourne également l'attention de la chose la plus importante que beaucoup d'entre vous soulignent. Écouter et apprendre de ceux qui comptent le plus - les clients ou bénéficiaires finaux. Ce sont également les experts. Trop souvent, leur voix et leurs objectifs sont évincés par ceux des donateurs, généralement définis dans des cadres logiques ou des cadres de résultats. L'obligation de rendre compte aux donateurs, et non aux bénéficiaires, semble plus courante qu'on ne l'aurait attendu ou espéré, et cette situation est contraignante pour les autres parties prenantes.

      4. Comme certains d'entre vous l'ont mentionné, il en résulte inévitablement une masse de chiffres et de comparaisons qui ne donnent que peu d'indications sur les performances. Certains exigent même une suspension de la croyance compte tenu des périodes de mise en œuvre habituelles. Ils sont plutôt utilisés pour justifier l'investissement auprès des donateurs et peuvent même donner une image déformée de la réalité. Il ne s'agit pas de battre les chiffres de l'année précédente.

      5. Les gestionnaires doivent s'approprier le suivi - trouver des mesures, qualitatives et quantitatives, qui vont au-delà du budget actuel et des résultats antérieurs et qui posent des questions. Des questions qui révèlent des réponses permettant de déterminer comment le programme ou le projet peut être mieux adapté et plus réactif afin de mieux "atterrir" ou d'être acceptable pour les clients bénéficiaires à l'avenir.  

      Merci encore et s'il y a d'autres contributions ou réponses à ce qui précède...

      Avec mes meilleurs vœux et mes bons week-ends,

      Daniel

    • Chers tous,

      Merci infiniment pour toutes vos réponses variées et précieuses. Je les ai prises en compte pour formuler quelques remarques conclusives, en espérant que vous les jugerez utiles.

      Pour rendre le suivi efficace, il convient d'éviter de le laisser aux mains de personnes expertes en théorisation, adeptes d'un langage excessivement compliqué et rompues à l'éventail des méthodologies mais qui ne sont peut-être pas les juges naturels de la performance. Il est compréhensible que cela décourage de nombreux membres et responsables d'équipe.

      Comme certains d'entre vous l'ont évoqué, les activités de suivi et évaluation produisent souvent une quantité de chiffres et de comparaisons qui offrent peu de visibilité sur la performance. Ils servent plutôt à justifier l'investissement et peuvent même esquisser une image déformée de la réalité. Les gestionnaires doivent s'approprier le suivi – trouver des mesures, tant qualitatives que quantitatives, qui passent outre le budget actuel et les résultats précédents et apportent des réponses aux questions permettant de déterminer dans quelle mesure le programme ou le projet peut attirer et retenir au mieux les destinataires et les bénéficiaires à l'avenir.

      Voici cinq points à retenir de la discussion, présentés sous forme de conseils:

      1. Évitez les écueils élémentaires dans la conception
      1. Les changements prennent du temps. Soyez réaliste quand vous définissez les réalisations (quels changements dans les comportements et les relations entre les groupes de destinataires auront lieu) et l'impact (quelles conséquences à long terme ces changements stimuleront-ils géographiquement en dehors de la zone du programme et/ou dans les vies et les moyens d'existence des destinataires).
      2. Pour les programmes relatifs aux systèmes de marché: i) les systèmes agricoles sont eux aussi des systèmes et doivent faire l'objet d'un diagnostic approprié; ii) ne faites pas référence prématurément, lors de la phase pilote, à un changement au niveau du système dans la hiérarchie des différents résultats et abordez l'impact concernant uniquement le changement au niveau de l'agriculteur; iii) la phase d'entraînement concerne, par définition, l'impact au sens géographique ou spatial; il est rarement possible de l'observer et encore moins de le «mesurer» dans le cadre des calendriers de projet prédéfinis. Voici une version «édulcorée» de la manière dont le M4P (faire fonctionner les marchés pour les pauvres) a tiré des leçons de sa propre expérience:

      https://assets.publishing.service.gov.uk/media/5f4647bb8fa8f517da50f54a/Agriculture_Learning_Review_for_publication_Aug_2020.pdf

      1. Veiller à ce que les réalisations et ses indicateurs reflètent les besoins et les aspirations de ceux qui sont dans le besoin et non pas ceux des donateurs – par exemple, ne considérez pas que tous les agriculteurs aspirent à augmenter les performances de la terre (gains de productivité/rendement par exemple). Souvent le facteur limitant est la main d'œuvre et non la terre.

       

      1. Distinguez les compétences nécessaires pour le suivi de celles nécessaires pour l'évaluation
      2. Expliquez clairement en quoi le suivi vise à aider les responsables à lever leurs incertitudes, souvent au niveau des hypothèses, pour leur prise de décisions, en répondant à des questions. Ce faisant, distinguez clairement ces dernières des questions auxquelles les évaluateurs – souvent issus du monde de la recherche – sont habitués à répondre, généralement à la demande du donateur.
      3. Recourez à l'analogie utile avec la comptabilité (suivi) et l'audit (évaluation) pour faciliter la distinction – ces activités interviennent pour différentes raisons, à différents moments, par et pour différentes personnes. Vous pouvez être l'évaluateur le «meilleur de la classe», qui développe des méthodes, intervient lors de conférences, publie, enseigne, participe à des formations de suivi et évaluation. Ces compétences et expériences font-elles de vous le «meilleur de la classe» pour le suivi? Non, pas nécessairement et même rarement. Toutefois il est surprenant de voir l'influence et l'emprise qu'ont l'évaluation et les évaluateurs sur la pratique du suivi – de l'évaluation évolutive?

       

      1. Discutez des besoins d'informations avec les donateurs.  
      1. Définissez sans ambiguïté les informations nécessaires pour gérer la mise en œuvre en les conciliant avec la nécessité de rendre des comptes au destinataire tout comme, voire plus encore, au bailleur, et faites-le avant de développer une théorie du changement et/ou un cadre de résultats.
      2. Ciblez ces besoins en informations sur les perceptions des agriculteurs destinataires et leur accueil, acceptation ou rejet du projet – être redevable envers eux, plutôt qu'envers les bailleurs en prenant connaissance de leurs problèmes administratifs, contribuera à l'apprentissage;
      3. Ne limitez pas les besoins en informations des gestionnaires et des destinataires aux indicateurs dans un cadre logique et ne développez pas aveuglément un plan de "mesure" ou de suivi et évaluation. Cette voie mène à une détérioration qualitative du suivi. Pour le suivi, les hypothèses ou l'inconnu comptent souvent plus que les indicateurs, quand on travaille dans des environnements opérationnels imprévisibles. Enfin: «Il ne s'agit pas de battre les chiffres de l'année dernière; un système de mesure de la performance doit vous indiquer si les décisions que vous prenez maintenant vous aideront, vous et ceux que vous soutenez, dans les prochains mois»[1].

       

      1. Intégrez le processus de suivi dans ceux d'autres personnes et processus.
      1. Intégrez dans les descriptions de poste des fournisseurs de l'aide des questions qu'ils peuvent utiliser pour développer leurs relations avec les destinataires et mieux les connaître – voir le point 3a) ci-dessus.
      2. Utilisez le Activity Based Costing (coût par activité) afin d'encourager les experts financiers à travailler avec ceux qui sont chargés de fournir les réalisations – cela permet de calculer le coût des activités et de relier ainsi le suivi financier et le suivi non-financier (cela vous permettra de répondre aux questions sur le rapport qualité-prix, si nécessaire).
      3. Une bonne prise de décision en matière de gestion consiste à faire des choix; les informations de suivi doivent les éclairer. Une décision visant à interrompre une activité ou à la mener différemment doit être analysée avec autant d'attention qu'une décision consistant à la faire de manière entièrement nouvelle.
       
      1. Soyez curieux tout en restant simple
        1. Ignorez les déclarations de dogmes ou règles méthodologiques rigides. Comme certains d'entre vous l'ont mentionné, il existe de nombreux documents très utiles en la matière, anciens ou récents. Prenez le risque de penser par vous-même...
        2. Restez simple et évitez de rendre les choses plus compliquées en suivant les tendances ou le jargon qui isole le suivi à travers un langage impénétrable.

      «Si vous ne pouvez pas l'expliquer simplement, c'est que vous ne le comprenez pas assez bien.»

  • Le suivi et évaluation (M&E), le suivi, évaluation, redevabilité et apprentissage (MEAL), le suivi, évaluation et apprentissage (MEL), le suivi, évaluation, rapportage et apprentissage (MERL), le suivi et la gestion des résultats (MRM) ou quel que soit le nom que vous choisissez de lui (ou de leur?) donner devraient nous aider à tirer des leçons de l'expérience. Malheureusement, ce n'est pas toujours le cas.

    Il y a une ironie apparente dans le fait que des systèmes qui étaient censés être conçus pour nous aider à tirer des leçons de l'expérience se sont montrés si réticents à tirer des leçons de

  • What type of evaluator are you?

    Discussion
  • How to define and identify lessons learned?

    Discussion
    • Chère Emilia,

      Tout d'abord, nous ne pouvons pas toujours supposer que ceux qui prétendent être des organisations apprenantes le sont nécessairement. J'ai appris que, très souvent, les plus vaniteux et les plus intolérants sont ceux qui se félicitent de leur capacité à apprendre et de leur tolérance à l'égard des autres points de vue.

      Ma réponse brute est la suivante : la mise en pratique des leçons est une question de stratégies associées à des incitations à le faire - l'organisation ne devrait pas seulement être responsable de la qualité des objectifs évaluateurs et de leur réalisation, mais aussi de leur ajustement à mesure que les circonstances opérationnelles changent ; autrement dit, la responsabilité s'étend à la responsabilité d'apprendre. 

      Ma compréhension de la pratique actuelle, en ce qui concerne les évaluations, pour assurer que les leçons apprises sont prises en compte et mises en pratique, est généralement la suivante :

      a) les enseignements tirés informent ou sont alignés sur les recommandations - leurs conséquences - de peur qu'ils ne soient complètement oubliés ; 

      b) les recommandations sont reflétées dans la réponse de la "direction" ; et

      c) la direction les met effectivement en œuvre.

      C'est la théorie et elle définit une grande partie de la pratique, mais cela dépend en grande partie de qui rend la direction responsable du suivi - dans quelle mesure est-elle responsable de l'apprentissage ? 
      Merci encore et bonne chance pour la suite.  

      Daniel

       

    • Chère Emilia,
      Bonjour et merci beaucoup pour ce post si utile, et c'est formidable de voir comment il a suscité tant de réponses variées et intéressantes de la part des autres membres de la communauté.
      Bien que je n'aie pas de réponses toutes faites en tête, mon expérience m'a appris trois choses :
      1. En termes crus - je m'excuse - il y a deux types de leçons, chacune avec ses propres questions auxquelles une leçon bien formulée doit répondre : ce qui a bien marché pour qui et comment ; ce qui n'a pas si bien marché, pour qui et pourquoi... Un équilibre adéquat n'est pas toujours trouvé entre les deux, peut-être en raison de la dynamique du pouvoir entre ceux qui financent, ceux qui font et ceux qui sont censés bénéficier de l'aide au développement ; ce qui implique ce qui suit 

      2. Être clair et rechercher qui a appris quoi de qui, pourquoi c'est important et quelle est la conséquence ? Bien sûr, il est important d'offrir la discrétion et la possibilité d'apprendre de ceux qui comptent le plus - les clients visés - mais il incombe également aux cadres supérieurs, qui en savent souvent peu sur les conséquences pratiques de leurs décisions sur le terrain, de faire de même pour ceux qui fournissent l'aide. Leur silence étouffe souvent l'apprentissage entre eux, et donc la capacité d'adaptation du programme ou de l'organisation. (Et c'est un point évident, mais qui mérite d'être mentionné : l'évaluation doit également générer des leçons sur les performances de ceux qui financent. Il s'agit là d'une question politiquement délicate et confuse, car ils commandent les évaluations et financent ce qui est évalué. Le point principal reste cependant le même : ils se rendent rarement disponibles pour rendre des comptes à ceux qui importent le plus, mais plutôt à leurs ministères des finances ou du trésor respectifs).  

      3. C'est en faisant cela, en écoutant ceux qui sont sur le terrain, en mettant l'accent sur les hypothèses et moin sur les indicateurs, que l'on peut tirer les leçons les plus révélatrices. En d'autres termes, il faut explorer l'inconnu. Ne pas le faire est un frein au succès, mais aussi un encouragement à l'échec.

      J'ai tiré ma révérence, mais j'espère que ce qui précède vous sera utile.  
      Je vous souhaite bonne chance et vous remercie encore,

      Daniel

       

    • Cher Eriasafu,

      Merci beaucoup pour ce post, et c'est bon d'être en contact avec le sujet du suivi, très négligé et peu considéré par la communauté de l'évaluation.

      J'aime votre observation sur la façon dont le temps passé à se conformer aux exigences de la collecte de données jusqu'au sommet du cadre de résultats ou de la théorie du changement, en passant souvent à côté de l'hypothèse en cours de route, empêche le temps de réflexion et d'apprentissage. Je crois que cette réflexion consiste à révéler l'inconnu en écoutant et en apprenant de ceux qui sont dans le besoin, et non en mesurant ceux qui sont en charge - les communautés exclues et mal desservies.

      Alors, comment résoudre le problème que vous soulevez, à savoir que "les systèmes MEL/MEAL sont limités à la conformité, aux résultats et à l'impact, et incluent rarement des questions transversales telles que le genre et les principes de ne laisser personne de côté".

      Il me semble ironique de constater que, alors que le suivi a pour but d'apprendre, il montre lui-même une capacité limitée à apprendre sur son passé. La recherche de la mesure des résultats et de l'impact n'est pas tant limitative que mal orientée. Même si vous disposiez de plus de temps, les indicateurs de résultats et d'impact génèrent une valeur limitée à des fins d'apprentissage. C'est plus facile à dire qu'à faire si l'on compare avec la mesure des indicateurs définis dans une théorie du changement ou un modèle logique. Les indicateurs font ce qu'ils sont censés faire, ils mesurent des choses qui se sont produites, ou non, dans le passé. Ils ne vous disent pas ce que vous devez faire. Le suivi n'implique pas, et ne devrait pas impliquer, l'utilisation de méthodes rigoureuses - comme un statisticien définirait le terme - orientées vers des préoccupations académiques et des poursuites obsessionnelles de mesure et d'attribution des effets de l'intervention.

      Le suivi a des exigences différentes, comme nous l'avons souligné ci-dessus, c'est-à-dire s'il doit aider les gestionnaires à résoudre leurs incertitudes décisionnelles. Votre affirmation ne tient pas compte de l'hégémonie des évaluateurs occidentaux, principalement éphémères et à tendance académique, et de ceux de la communauté du suivi et de la mesure des résultats, accros aux récits uniques et aux dogmes méthodologiques rigides. Le suivi doit s'affranchir de ces approches mécanistes, et les gestionnaires doivent prendre les devants, accorder la primauté aux voix et aux besoins des communautés indigènes, et s'approprier le processus afin de s'assurer que le suivi génère des informations à des fins de prise de décision au profit de ceux qui légitiment, et pas seulement pour mesurer les résultats prévus définis par ceux qui financent le développement et l'aide humanitaire.

      Bien sûr, il est important d'inclure le genre et de s'assurer que personne n'est laissé pour compte. Toutefois, et sans vouloir paraître désinvolte, cela signifie que la direction ne doit pas être laissée pour compte, par exemple :

      • En soulignant que l'exploration des hypothèses compte autant, sinon plus, que la mesure des indicateurs et que le "système" doit être piloté par des questions définies par ceux qui en sont les principaux utilisateurs, et qui n'incluent pas les évaluateurs externes ;
      • Souligner que, bien que les chiffres soient importants, ils ne le sont pas autant que d'apprendre comment, par exemple, le nombre d'hommes et de femmes ou de garçons et de filles est apparu et comment ils interagissent ensemble.

      Merci encore, et j'espère que ce qui précède vous aidera,
       

      Daniel

    • Chère Ana,

      Merci beaucoup d'avoir répondu, d'avoir partagé les 10 questions de John et son adresse électronique.   

      Je me demande : est-ce que quelqu'un d'autre a rencontré ces questions ou des questions similaires ? Et, si oui, vous les a-t-on posées ? Si non, vous les avez posées à vous-même lors de la conception d'une évaluation ?   

      Il me semble que les réponses à ces questions pourraient utilement informer la conception de l'évaluation et/ou aider les équipes à se préparer de manière adéquate. C'est-à-dire, plutôt que d'attendre que les membres de la communauté les posent à leur " arrivée ", pour ainsi dire.

       

      Cela ne risque-t-il pas de faire dérailler le processus et de faire perdre du temps aux membres de la communauté ?  

      Qu'en pensez-vous, vous ou d'autres ?  

      Merci encore une fois, Ana, et je me mettrai en contact avec John pour en savoir plus.

      Avec mes meilleurs vœux,

      Daniel 


       


       

       

    • Cher Pedronel,

      Bonjour et merci d'avoir répondu. Je suis tout à fait d'accord avec le fait que les évaluations et les évaluateurs sont confrontés aux défis que vous décrivez. Si l'on ne parvient pas à surmonter ces risques, on risque d'exclure des sources de connaissances plus diverses et des méthodes locales de changement, ce qui peut être particulièrement gênant si l'on se fixe sur une ligne d'arrivée préétablie au lieu de suivre un processus génératif à la vitesse des saisons. 

      Quels sont les défis que vous mentionnez en ce qui concerne l'apprentissage et la priorisation des connaissances indigènes ? et comment pensez-vous qu'ils puissent être surmontés ?

      Je vous souhaite bonne chance et vous remercie encore,

      Daniel 

    • Chers tous,

      Je remercie tous ceux qui ont pris le temps de contribuer à la discussion. J'espère que vous avez trouvé intéressant de lire les points de vue et les expériences des autres. La discussion va etre maintenant fermée, mais étant donné le nombre de réponses riches et variées, EvalForward, en collaboration avec EvalIndigenous, a décidé d'organiser un webinaire le lundi 24 octobre à 14h00 (heure de Rome). En leur nom, j'apprécierais grandement, si vous en avez la capacité, d'y participer et d'inviter d'autres personnes de vos propres réseaux.

      John Ndjovu fera une présentation pour provoquer, ce que nous espérons, une occasion passionnante de partager et d'en apprendre davantage sur cette question extrêmement importante.

      Merci d'avance, et merci encore pour votre contribution. Nous nous réjouissons de vous y voir tous, pour ainsi dire !

      Daniel

       

    • Merci à tous ceux qui ont contribué à la discussion. Beaucoup d'entre vous soulignent l'importance de comportements culturellement appropriés, et ceux-ci sont associés à des raisons convaincantes. Certains fournissent des exemples éloquents de la culture occidentale et de la façon dont certaines de leurs institutions restent figées malgré la conscience des conséquences de la nécessité de changer. Cependant, peux révèlent des exemples spécifiques d'expériences dans lesquelles, en tant que commissaires ou évaluateurs, ils ont cherché à être culturellement appropriés et/ou comment ils ne l'ont pas été, et avec quelles conséquences.

      Par conséquent, je serais heureux de recevoir toute expérience " personnelle " qui répondrait plus explicitement à la question suivante : Quelles leçons ou expériences – réussites, défis ou échecs – avez-vous eues dans vos efforts pour vous assurer que les évaluations donnent une priorité adéquate aux connaissances, valeurs et pratiques autochtones?

      Merci beaucoup. 

       

    • Dear Olivier, you are right: it's not universal, yet it is commonplace among many donors for evaluators and evaluations to be driven by the pursuit of being solely accountable to those who commission them and afford privilege to their administrative requirements and corporate objectives, not of those in need. What Bob Picciotto refers to as mindless evaluation machines, and quite rightly so. 

       

      Best wishes from a strange land - i live in the uk - and hope this finds you very well

    • Interesting analysis on the indiscriminate application and diminishing returns to the practice of late through its "performative" use.

      Reference to how "....sometimes, agencies can reduce reputational risk and draw legitimacy from having an evaluation system rather than from using it" reminds of the analogy the famous classicist and poet AE Housman made in 1903:

      "...gentlemen who use manuscripts as drunkards use lamp-posts,—not to light them on their way but to dissimulate their instability.”

      or in plain english relating to the subject: People Use Evaluation as a Drunk Uses a Lamppost — For Support Rather Than Illumination

    • Chère Anna Maria,

      Bonjour et je pense que vous êtes sur la bonne voie - développer quelques questions avec lesquelles encadrer les conversations avec les personnes qui ont été impliquées dans la mise en œuvre. J'ajouterais également ceux qui ont participé à l'élaboration des TdC (qui peuvent être des personnes différentes).

      Mon expérience personnelle en matière de révision des TdC suit trois grands thèmes, chacun accompagné d'une question générale :

      • Inclusivité de l'approche/méthode - qui a été impliqué et dans quelle mesure, et de quelle théorie s'agit-il ? Par exemple, les conseillers du donateur ont-ils consulté les bénéficiaires/clients ou le personnel du donateur s'est-il contenté de faire ses propres recherches et d'aller et venir dans différents domaines techniques, avant d'être approuvé par une unité interne d'assurance qualité ou par ....... ? 
      • Robustesse des preuves - sur quelle base les hypothèses ont-elles été développées et les résultats - réalisations, effets et impact - obtenus - les voies du changement et les changements eux-mêmes ? et 
      • Cohérence et plausibilité du produit - le diagramme/visuel est-il accompagné d'un récit clair expliquant COMMENT la théorie d'action (c'est-à-dire les activités et les résultats) stimulera QUEL changement chez QUI et POURQUOI (c'est-à-dire la théorie du changement). 

      L'aspect du produit variera également et, à cet égard, Silva soulève un bon point, bien que je ne prétende pas avoir les compétences logicielles pour produire le second diagramme, ni la capacité intellectuelle pour le comprendre !!! Les théories de l'action et du changement suivent rarement une trajectoire linéaire, mais il n'y a pas de bon ou de mauvais. Une différence essentielle réside dans la manière dont la TdC fait apparaître clairement les conséquences pour le processus de suivi et d'apprentissage. S'il s'agit de la construction d'un pont, il suffit de mettre au point un processus défini du début à la fin et de le suivre en conséquence. Cependant, s'il s'agit de produits de programme visant à stimuler des changements dans les comportements et les relations entre les personnes - ou les résultats - alors cela a des implications évidentes sur le suivi : les hypothèses faites sur la façon et la raison pour laquelle ils répondront aux produits - comptent autant, sinon plus, que les indicateurs de résultats.  

      Selon le bailleur de fonds qui finance le travail que vous faites, chaque donateur a un point de vue/des lignes directrices légèrement différents pour les TdC (et les Cadres Logiques). J'en ai développé quelques-unes pour l'examen du contenu des cadres logiques et je les ai jointes. J'espère qu'elles vous seront utiles.  

      Sur les cadres logiques.......La méthodologie utilisée pour développer ce que les gens appellent une TdC n'est pas si différente de la façon dont certains, comme GTZ (maintenant GIZ), développent des cadres logiques. Voir ici (en anglais). Je pense que c'est la meilleure méthode que j'ai vue, et je la recommande donc vivement comme référence pour évaluer la qualité du processus et, à bien des égards, du produit. Son essence est bien capturée par la vidéo soignée de Harriet Maria. Les affirmations selon lesquelles la ToC tient mieux compte que les cadre logique de la complexité et met l'accent sur les hypothèses et explique mieux le pourquoi et le comment du changement sonnent quelque peu faux.   

      Comme pour beaucoup de méthodes et d'outils, il n'y a rien qui, à mon avis, soit intrinsèque aux cadres logiques, ait encouragé de nombreuses agences donatrices à ignorer ou à mal utiliser la méthode et à aboutir à un produit trop simpliste et jugé inadapté. Etant donné qu'ils l'ont fait, je n'ai pas été surpris qu'ils soient passés à ToC...... !

      J'espère que tout cela vous aidera et bonne chance. N'hésitez pas à me contacter si vous souhaitez discuter de quoi que ce soit.

      Je vous souhaite bonne chance,

      Daniel