L'évaluation des actions de mise à l'échelle: mesurer ce qui compte.

L'évaluation des actions de mise à l'échelle: mesurer ce qui compte.
23 contributions

L'évaluation des actions de mise à l'échelle: mesurer ce qui compte.

N.Palmer CIAT

 Il nous faut parler de la mise à l'échelle.

 Les évaluateurs qui travaillent dans la sécurité alimentaire, l'agriculture, le développement rural, le changement climatique et d'autres domaines sont de plus en plus sollicités pour aider les organisations à mettre à l'échelle l'impact de leurs innovations, programmes et politiques.

C'est difficile.

Pour répondre à cette nécessité, les évaluateurs se mobilisent. Nombre d'entre eux développent de nouvelles manières pour comprendre et évaluer la mise à l'échelle, mais nous avons encore beaucoup de chemin à faire.

 Faisons ce chemin ensemble.

Avez-vous déjà été impliqués dans des actions de mise à l'échelle? Avez-vous de l'expérience en mesure et évaluation des actions de mise à l'échelle? Avez-vous des questions sur la mise à l'échelle et ce que cela signifie pour votre travail?

Rejoignez-nous dans une discussion sur la mise à l'échelle et la manière dont elle peut être évaluée.

 Ressources de base potentielles

  • L'ouvrage en accès libre Scaling Impact: Innovation for the Public Good [Étendre l'impact: Innovation au service du bien public] (McLean et Gargani, 2019) et d'autres ressources sur la mise à l'échelle sont disponibles à ce lien: https://idrc-crdi.ca/en/scalingscience
  • Résultat de recherche en accès libre: Thesis (Lennart Woltering, 2024) ‘Stuck on scale: rethinking scaling and systems change for Agricultural Research for Development for food systems transformation’ [Thèse. Bloqué à l'échelle: repenser la mise à l'échelle et le changement de système pour la recherche agricole pour le développement pour la transformation des systèmes agricoles] Wageningen University. Stuck on scale : rethinking scaling and systems change for Agricultural Research for Development for food systems transformation - Research@WUR
  • Article en accès libre Innovation portfolio management for the public non-profit research and development sector: What can we learn from the private sector? Innovation and Development [La gestion du portefeuille d'innovation pour le secteur public à but non lucratif pour la recherche et le développement: Que pouvons-nous apprendre du secteur privé? Innovation et développement], 1–19. (Schut, M., Adeyemi, I., Kumpf, B., Proud, E., Dror, I., Barrett, C. B., … Leeuwis, C. (2024)). https://doi.org/10.1080/2157930X.2024.2400779 

Questions directrices

  1. Quelle est votre expérience en matière de mise à l'échelle? Avez-vous…
  • évalué des innovations (programmes, politiques, interventions, etc.) afin d'éclairer les décisions concernant ce qu'il convient de mettre à l'échelle?
  • évalué la même innovation (programmes, politiques, interventions, etc.) à différents niveaux ou types d'échelle?
  • évalué la réussite des actions visant à mettre à l'échelle l'impact des innovations (programmes, politiques, interventions, etc.)?
  • utilisé vos compétences d'évaluation pour soutenir les actions de mise à l'échelle d'autres manières?
  1. Qu'avez-vous appris concernant l'évaluation des actions visant à mettre à l'échelle l'impact? Que souhaiteriez-vous apprendre?
  2. Selon quels critères devrait-on juger si les actions de mise à l'échelle de l'impact sont réussies ou infructueuses?
  3. Les méthodes actuelles de suivi et évaluation sont-elles suffisantes pour évaluer la réussite des actions de mise à l'échelle? De nouvelles méthodes sont-elles nécessaires pour que l'évaluation puisse relever ce nouveau défi?
  4. Comment devrions-nous évaluer la mise à l'échelle lorsqu'elle commence ou continue après un projet financé?
  5. Comment prendre en compte la complexité de la mise à l'échelle dans des systèmes comprenant de multiples collaborateurs et à travers différents contextes?
  6. Comment assurer que les personnes touchées conduisent les actions pour mettre à l'échelle l'impact?

 Entrons en contact et partageons. Il sera passionnant d'examiner ces questions et tant d'autres, et d'apprendre les uns des autres. Des enseignements et des exemples concrets peuvent être ajoutés à la note méthodologique sur l'évaluation de la mise à l'échelle. Nous attendons avec impatience votre participation!

Cette discussion est terminée. Veuillez contacter info@evalforward.org pour plus d'informations.
  • Dear EvalForward Members,

    I would like to extend my gratitude for your valuable contributions to the discussion on "Evaluating Scaling Efforts: Measuring What Matters." Your insights and diverse perspectives have been instrumental in enriching our understanding of effective evaluation approaches for scaling efforts.

    The richness in depth and range of experience reaffirms the complex nature of scaling and why it is so challenging to evaluate. We embrace this challenge in developing the method note on how to assess scaling activities in the CGIAR. 

    This discussion concludes for now, but there will be future opportunities to exchange ideas and knowledge. We anticipate having a fair draft of the note in mid-late February, when we will share early insights for further engagement. A summary of the discussion will soon be available on the platform in three languages: English, French, and Spanish.

    Please stay connected  for updates on upcoming events and further opportunities to engage.

  • Chers collègues,

    C'est avec plaisir que je rejoins la communauté EvalForward pour partager mon expérience et les leçons apprises dans le domaine des systèmes agroalimentaires durables et du développement des chaînes de valeur. Mon approche met l'accent sur la conception et la mise en œuvre participatives, en associant les petits exploitants et les communautés locales tout au long du cycle du projet, y compris les phases d'évaluation et d'apprentissage, afin de créer des interventions inclusives, efficaces, durables et évolutives.

    J'ai préparé et dirigé l'équipe du FIDA pour l'élaboration des publications suivantes, destinées à être largement diffusées afin de partager les expériences et les enseignements :

    • le rapport technique final consolidé du programme cofinancé par le FIDA et l'UE "Mettre la recherche au service de la nutrition, de l'agriculture durable et de la résilience" (PRUNSAR), mis en œuvre de 2015 à 2023 par 13 projets dirigés par huit centres du CGIAR et l'Organisation internationale du bambou et du rotin (INBAR) ;
    • le catalogue des innovations et le répertoire de connaissances (Répertoire de connaissances PRUNSAR : Mettre la recherche au service de la nutrition, de la durabilité et de la résilience | Connaissances pour les politiques (europa.eu) avec Agrinatura, basé sur les réalisations et les recommandations du PRUNSAR
    • les données finales sur le chargement des valeurs agrégées des indicateurs dans le système opérationnel en ligne de l'UE (OPSYS) (Réalisations / indicateurs cibles du PRUNSAR)

    Le programme PRUNSAR, financé par l'UE et le FIDA, composé de 13 projets dirigés par le CGIAR, a produit en 2023 et 2024 de précieuses ressources qui mettent en évidence les enseignements tirés, les défis et les recommandations pour la mise à l'échelle et l'évaluation des innovations agricoles.

    PRUNSAR, un programme de 39 millions d'euros qui s'est déroulé de 2015 à 2023, a soutenu des innovations qui ont amélioré les moyens de subsistance, la nutrition et la résilience des petits exploitants agricoles en Asie du Sud-Est, en Afrique et en Amérique latine.

    Les publications et les produits de connaissance du PRUNSAR sont accessibles sur les sites web du FIDA et de l'UE. Ils fournissent des informations utiles, notamment des approches d'évaluation, des indicateurs transversaux pour suivre et agréger les résultats, et des mesures spécifiques aux projets. Ils reflètent les efforts de collaboration entre le CGIAR, le FIDA, les partenaires nationaux et les bénéficiaires tout au long du cycle du projet, garantissant un suivi, une évaluation et un apprentissage solides pour éclairer les interventions futures et impactantes.

    Selon quels critères les efforts de démultiplication de l'impact doivent-ils être jugés réussis ou non ?

    Divers critères peuvent être pris en compte, notamment les taux d'adoption, qui dépendent de nombreux facteurs selon les contextes et le type d'innovation, ainsi que la durabilité et l'évolutivité. Des exemples de ces critères sont disponibles dans le Répertoire de connaissances du PRUNSAR mentionné précédemment.

    Les méthodes actuelles de suivi et d'évaluation sont-elles suffisantes pour juger du succès des efforts de développement à grande échelle ? Avons-nous besoin de nouvelles méthodes pour relever ce nouveau défi d'évaluation ?

    Là encore, il n'existe pas de série unique de méthodes ou de critères applicables à toutes les situations. Les méthodes appropriées doivent être alignées sur les objectifs de l'évaluation et des efforts de développement à grande échelle (qu'il s'agisse d'un programme, d'un projet ou d'une initiative) en tenant compte de leur contexte spécifique. Une analyse SWOT des méthodologies existantes susceptibles d'être appliquées devrait être réalisée au préalable, et tout ajustement nécessaire devrait être apporté pour garantir qu'elles répondent à l'objectif visé.

    Comment évaluer la mise à l'échelle lorsqu'elle commence ou se poursuit après un projet financé ?

    Pour un projet nouvellement financé ou en cours, l'élaboration d'une méthodologie/d'un cadre d'évaluation de l'évolutivité ou de la mise à l'échelle - assorti d'indicateurs et d'objectifs - doit tenir compte de contraintes telles que les limitations budgétaires, la disponibilité de ressources humaines qualifiées et le délai d'exécution du projet.

    Si nécessaire, ces aspects peuvent être négociés avec des partenaires financiers et techniques/de mise en œuvre existants ou potentiels.

    Une autre approche pour remédier à ces contraintes et améliorer l'efficacité consiste à adopter une approche intégrée. Cela pourrait impliquer d'intégrer l'évaluation de la mise à l'échelle du projet dans les cadres d'évaluation de projets ou de programmes plus vastes, qui couvrent les mêmes zones géographiques cibles, les mêmes populations et les mêmes acteurs clés. Une telle intégration permettrait également d'agréger les données et les informations d'évaluation pertinentes.

    Cependant, de telles approches globales peuvent présenter des limites en termes de granularité nécessaire pour éclairer des politiques de mise à l'échelle spécifiques. Par exemple, une collecte de données détaillée peut être nécessaire pour traiter des questions liées au genre, à l'inclusion des minorités et des populations ayant des niveaux variables de pauvreté, d'alphabétisation, de connaissances, d'assistance technique, d'accès aux services de vulgarisation agricole, d'innovation, de financement, de TIC, d'IA et d'autres conditions préalables à la mise à l'échelle.

    Comment tenir compte de la complexité de la mise à l'échelle dans des systèmes avec de multiples collaborateurs dans des contextes divers ?

    Une approche systémique est essentielle, ainsi qu'une priorisation soigneuse de la méthodologie d'évaluation - qu'elle soit quantitative, qualitative ou une combinaison des deux - et la sélection d'indicateurs les plus pertinents et efficaces. Cela doit s'aligner sur l'approche holistique nécessaire pour aborder la complexité et les interconnexions, tout en garantissant la fourniture de recommandations exploitables sur la meilleure façon de relever ces défis.

    Comment s'assurer que les personnes affectées dirigent les efforts de démultiplication de l'impact ?

    Le Répertoire de connaissances du PRUNSAR mentionné précédemment met en évidence diverses approches réussies et des études de cas de projets qui ont garanti que les personnes affectées à différents niveaux jouent un rôle de premier plan dans la démultiplication de l'impact. Il détaille également les défis auxquels elles ont été confrontées, la manière dont elles les ont gérés et les compromis rencontrés dans certains contextes.

    Références :

    Sincères salutations,

    Mireille Totobesola

    Profil LinkedIn : Mireille Totobesola, PhD

  • La mise à l'échelle dans les domaines de la sécurité alimentaire, de l'agriculture, du développement rural et du changement climatique présente des défis importants. Cependant, la mise à l'échelle n'est pas un processus simple. Elle implique de naviguer dans des complexités telles que les contextes régionaux variés, les contraintes de ressources et la nécessité d'assurer la durabilité à long terme. Les évaluateurs doivent développer des approches innovantes pour mesurer et évaluer l'efficacité des efforts de mise à l'échelle, ce qui en fait un domaine dynamique et en constante évolution. Le défi de la mise à l'échelle réside dans le fait que ce qui fonctionne bien dans une région, comme l'Afrique ou un pays comme l'Ouganda, pourrait ne pas être aussi efficace dans un autre en raison des différences culturelles, des infrastructures ou des ressources disponibles. Les évaluateurs doivent tenir compte de ces variations afin de garantir que les stratégies de mise à l'échelle sont appropriées et efficaces dans des contextes divers. De plus, la durabilité ne doit pas seulement viser à obtenir des résultats immédiats, mais aussi à maintenir son impact au fil du temps, ce qui nécessite une planification et un suivi minutieux en tenant compte de la santé de la population. Les évaluateurs doivent d'abord définir ce que signifie le succès dans le contexte de la mise à l'échelle. L'évaluation participative doit impliquer l'engagement des parties prenantes à divers niveaux pour co-créer des cadres d'évaluation qui répondent aux besoins locaux et internationaux. C'est une démarche positive que nous devons tous adopter.

  • Bonjour à tous,

    J’ai vraiment apprécié lire les nombreuses réponses dans cette communauté, et je suis impatiente d’explorer des métriques de mise à l’échelle plus efficaces et diversifiées avec vous. Je suis spécialiste en recherche pour le projet Accelerating Impacts of CGIAR Climate Research in Africa (AICCRA), qui vise à combler le fossé entre la recherche et la pratique, et à promouvoir l’agriculture intelligente face au climat et les services d’information climatique, grâce à des engagements adaptés et des processus de conception collaborative aux niveaux local, national et régional à travers l’Afrique. Je rédige également ma thèse de doctorat sur la « mise à l’échelle responsable », en examinant les modèles d’intégration de trajectoires responsables – inclusives et équitables – dans le projet AICCRA.

    Le mantra, peut-être imparfait, de notre écosystème de recherche agricole pour le développement est que la mise à l’échelle est toujours bénéfique et doit être priorisée. Nous sommes poussés par des incitations institutionnelles internes (quantité de publications, financements obtenus) à rechercher des « succès rapides » ou des « solutions faciles ». Les organisations donatrices nous incitent à présenter nos théories du changement comme des modèles linéaires et reproductibles de réussite. Cependant, de nombreuses voix, y compris les auteurs des ressources de référence mentionnées ci-dessus, remettent en question cette logique. Bien sûr, cela ne signifie pas qu’il faille arrêter complètement la mise à l’échelle. Il existe de grands avantages à s’appuyer sur les connaissances et réussites développées ailleurs pour accélérer la mise en œuvre et augmenter les chances de succès. Par ailleurs, nous devons cesser de supposer que nous, en tant qu’« innovateurs » ou « chercheurs », arrivons avec des solutions idéales. Nous devons également tenir compte des modèles existants et des pratiques courantes, en apprendre et les compléter au lieu de remplacer les savoirs traditionnels par des approches scientifiques.

    Pour atteindre un changement systémique durable, nous devons abandonner les notions irréalistes de succès – comme la réduction de la pauvreté ou l’amélioration de la sécurité alimentaire par un seul projet. Il est essentiel de définir dès la conception du projet des objectifs (et des « anti-objectifs ») alignés sur une direction souhaitée, mais accompagnés d’indicateurs adaptatifs qui permettent de mieux cibler les utilisateurs finaux et d’anticiper les impacts négatifs potentiels de la mise à l’échelle. Cela implique également de mettre en place un plan de suivi et d’évaluation capable de rendre compte des transformations systémiques au fil du temps et de l’espace, en examinant non seulement l’efficacité de la mise en œuvre des résultats, mais aussi les changements profonds. Bien que la mise à l’échelle et le changement systémique ne soient pas identiques, ils doivent s’inspirer l’un de l’autre.

    Le M&E Sandbox du PNUD souligne que « la manière dont nous mesurons et pour qui nous mesurons a une influence majeure sur notre capacité à apprendre, à nous adapter et à évaluer si nos interventions sont en adéquation avec les systèmes complexes qu’elles visent à transformer. » Pour promouvoir des systèmes agricoles efficaces, nous devons collaborer avec les personnes les plus proches des problèmes afin de trouver ensemble des solutions adaptées.

    La mise à l’échelle est complexe, et les contextes hétérogènes nécessitent des approches dynamiques et diversifiées, adaptées aux défis locaux et aux priorités. Il faut anticiper les risques potentiels dès le départ et définir collectivement des visions de réussite avec les communautés ciblées, afin de concevoir des solutions non pas uniques, mais pluralistes – des ensembles d’innovations sociotechniques capables de répondre efficacement aux besoins identifiés. Nous devons également faire preuve de réflexivité et examiner nos propres biais et hypothèses en tant que chercheurs. Ces dimensions de l’innovation responsable (voir Stilgoe et al., 2013) peuvent être appliquées à la science de la mise à l’échelle (voir Wigboldus et Brouwers, 2016).

    N’hésitez pas à consulter des publications récentes co-rédigées avec des collègues formidables pour en savoir plus :

    A systems approach for more effective and inclusive agricultural innovation for sustainable transformation: A call to action, reflection and five research commentaries | CGIAR GENDER Impact Platform
    https://www.nature.com/articles/s44264-024-00044-y

  • Chers collègues,

    Ravi de me connecter ici et de constater l’engagement provenant de différents horizons de la communauté dédiée à la mise à l’échelle. Je m’appelle Marc Schut et je travaille en tant que conseiller principal en gestion de portefeuille d’innovation auprès du CGIAR. Je suis également affilié à l’Université de Wageningen en tant que chercheur principal en innovation et mise à l’échelle. Heureux de voir que certains de nos travaux figurent sur votre liste de lectures recommandées :-)

    Au cours des 10 dernières années, nous avons contribué à inscrire la mise à l’échelle à l’agenda du CGIAR et au-delà. Cela découle d’un manque de réalisme sur ce qu’est une mise à l’échelle responsable et sur les exigences nécessaires pour atteindre un impact à grande échelle. Un instrument clé dans ce domaine est l’approche Scaling Readiness, qui aide les équipes d’innovation à profiler leurs innovations, concevoir et évaluer des ensembles et des solutions spécifiques au contexte, et co-créer des stratégies de mise à l’échelle pour surmonter les principaux obstacles.

    Au-delà de Scaling Readiness, nous avons tenté de faire progresser la pratique et la science de la mise à l’échelle de diverses manières, notamment :

    Notre équipe est très intéressée à élargir ces travaux et à apprendre des autres, alors n’hésitez pas à nous contacter et à nous inclure dans des échanges et des apprentissages croisés !

  • Je me présente, Johannes Linn, et j’ai le plaisir de co-présider, avec Larry Cooley, la Communauté de Pratique sur la Mise à l’Échelle (Scaling Community of Practice) (www.scalingcommunityofpractice.com), qui a déjà été présentée par Julie Howard. Nous invitons toutes les personnes intéressées par la mise à l’échelle à rejoindre notre communauté.

    Dans le cadre d’une grande initiative de recherche-action sur l’intégration systématique de la mise à l’échelle dans les organisations de financement (Mainstreaming Scaling in Funder Organizations) (https://scalingcommunityofpractice.com/mainstreaming-initiative/), Ezgi Ilmaz et moi avons récemment publié un document qui analyse les méthodologies et pratiques d’évaluation des agences de financement officielles du développement, sous l’angle de la mise à l’échelle. Ce document est disponible ici : https://scalingcommunityofpractice.com/wp-content/uploads/2024/12/Evaluation-Guidelines-of-Official-International-Development-Funders-December-2024-1.pdf.

    Voici le résumé de ce document. En résumé : à quelques exceptions près, la mise à l’échelle n’est pas traitée de manière efficace dans les pratiques d’évaluation des bailleurs de fonds pour le développement, y compris dans les lignes directrices d’évaluation de l’OCDE-CAD. Cela doit changer.

    Résumé :

    Les bailleurs de fonds du développement jouent un rôle important dans la poursuite d’impacts durables par les responsables de programmes de développement. Cela nécessite qu’ils intègrent systématiquement l’objectif de la mise à l’échelle, c’est-à-dire atteindre un impact durable à grande échelle, dans leur mission et leurs pratiques opérationnelles. L’évaluation et les lignes directrices d’évaluation sont des instruments potentiellement importants pour intégrer la mise à l’échelle dans les organisations de financement.

    Ce document propose un cadre indicatif pour intégrer la mise à l’échelle dans les lignes directrices d’évaluation. Il analyse ensuite les lignes directrices d’évaluation de l’OCDE-CAD (EvalNet), la méthodologie des examens par les pairs de l’OCDE-CAD et la méthodologie d’évaluation de la MOPAN, ainsi que les lignes directrices d’évaluation publiques de 18 grandes agences bilatérales et multilatérales officielles, afin de déterminer dans quelle mesure elles intègrent explicitement la mise à l’échelle.

    Les résultats montrent que, bien que la mise à l’échelle ne soit pas complètement absente, ces lignes directrices ne la traitent pas de manière efficace et n’offrent pas d’orientations utiles aux évaluateurs. Puisque de nombreuses lignes directrices des agences de financement s’inspirent de celles de l’OCDE-CAD, il s’agit d’une opportunité manquée d’influencer et de soutenir les unités d’évaluation des organisations de financement, et, indirectement, de renforcer les incitations à intégrer la mise à l’échelle dans leurs pratiques.

    Les évaluations des agences montrent que :

    • Pour dix agences, les lignes directrices ne mentionnent pas la mise à l’échelle.
    • Pour quatre autres, la couverture est très limitée.
    • Quatre agences intègrent la mise à l’échelle de manière centrale, mais avec des orientations variables.

    Le document conclut avec des recommandations sur la manière d’intégrer la mise à l’échelle dans les évaluations.

    Vos commentaires sont les bienvenus et peuvent être adressés à Johannes F. Linn à l’adresse jlinn@brookings.edu avant le 28 février 2025.

  • L'IICA a collaboré avec la FAO, le CTA et le FIDA pour développer, améliorer et tester une méthodologie désormais connue sous le nom de « capitalisation ». Cette méthodologie est utile à des fins telles que l'évaluation, le marketing, la communication, entre autres, et elle est différente de la systématisation. Nous nous concentrons sur les « expériences » et, oui, nous essayons de les mettre à l’échelle. Trois éléments sont essentiels, et sans eux, la tâche de mise à l’échelle devient plus difficile :

    1. Participation réelle : Les « propriétaires » de l’expérience, ainsi que ceux intéressés par sa mise à l’échelle, doivent être présents.
    2. Une expérience plus concrète : Un projet devient trop grand lorsque les différences de temps et de contexte jouent contre nous.
    3. Institutions : Le processus d’adoption nécessite, dans de nombreux cas, des institutions prêtes à poursuivre le travail que d’autres ont laissé.

    Juger du succès revient à ceux qui ont adopté, adapté et augmenté l’utilisation d’une « solution ».

    De nombreux documents ont été élaborés dans le cadre de l’alliance avec le FIDA, la FAO et le CTA. L’IICA a publié un document en espagnol et en anglais à des fins de coopération, également disponible publiquement : https://repositorio.iica.int/handle/11324/21455

  • Bonne année !

    Merci d’avoir proposé ce sujet si important ! En Uruguay, nous avons mené un projet très réussi du FEM-FAO sur la production animale intelligente face au climat.

    Désormais, le pays souhaite mettre ce projet à l’échelle. Et je me pose la question : comment cet effort de mise à l’échelle sera-t-il évalué ?

    Le premier point est de comprendre que le projet déjà achevé était un "projet pilote" visant à valider certaines hypothèses. Ces hypothèses ont été validées, mais dans un environnement quelque peu "contrôlé" :

    (i) Les agriculteurs impliqués étaient moins hétérogènes que l’ensemble des agriculteurs au niveau national.
    (ii) Il était donc possible d’utiliser une méthodologie unique pour travailler avec eux.
    (iii) Les incitations des agriculteurs à participer au projet étaient également moins hétérogènes que toutes les incitations possibles à considérer pour l’ensemble des types d’agriculteurs du pays.
    (iv) Les environnements biologiques pris en compte dans le "projet pilote" représentaient un échantillon représentatif, mais pas tous les environnements biologiques au niveau national.

    Ainsi, lorsqu’on pense à mettre en œuvre l’intervention à une plus grande échelle, plusieurs défis se présentent à l’équipe du projet !

    Je suis désolé, je ne contribue pas avec des solutions, mais seulement avec des défis !

    J’ai quelques idées, mais j’aimerais entendre des voix plus expérimentées !

    Dans l’attente des commentaires de nos collègues.

    Cordialement,
    Vicente Plata

  • Chers collègues,

    L'évaluation des efforts de mise à l'échelle est un défi crucial, particulièrement dans le contexte guinéen où les innovations et les programmes de développement jouent un rôle essentiel pour améliorer la sécurité alimentaire, l'agriculture, et le développement rural. En Guinée, où les ressources sont souvent limitées et les besoins immenses, il est impératif de mesurer l'impact réel de nos initiatives pour garantir qu'elles bénéficient véritablement aux populations locales.

    Prenons l'exemple de l'agriculture durable. En Guinée, plusieurs projets innovants visent à améliorer les rendements agricoles et à promouvoir des pratiques agricoles durables. Cependant, évaluer le succès de ces projets ne se limite pas à mesurer les rendements agricoles. Il est essentiel de considérer l'impact sur les communautés locales, la durabilité environnementale, et l'inclusion sociale. Les évaluateurs doivent adopter une approche holistique, intégrant les perspectives des agriculteurs, des organisations locales, et des décideurs politiques [1][2].

    Un autre aspect crucial est la complexité des systèmes dans lesquels ces innovations sont mises en œuvre. En Guinée, les projets de développement impliquent souvent de multiples partenaires, chacun avec ses propres objectifs et contextes. Évaluer la mise à l'échelle dans ce contexte nécessite des méthodes adaptées pour capturer cette complexité. Les évaluateurs doivent non seulement mesurer les résultats immédiats, mais aussi comprendre les dynamiques sous-jacentes et les interactions entre les différents acteurs [3][4].

    Il est également crucial de s'assurer que les personnes touchées par ces innovations dirigent l'effort d'amplification de l'impact. En Guinée, cela signifie impliquer activement les communautés locales dans le processus d'évaluation. Leur voix et leurs expériences doivent être au cœur de nos analyses pour garantir que les innovations répondent véritablement à leurs besoins et aspirations [2][5].

    En conclusion, l'évaluation des efforts de mise à l'échelle en Guinée nécessite une approche intégrée et participative. Nous devons aller au-delà des indicateurs traditionnels pour capturer la véritable portée et l'impact de nos initiatives. Ensemble, nous pouvons développer des méthodes d'évaluation plus robustes et adaptées, garantissant ainsi que nos efforts de mise à l'échelle contribuent réellement au développement durable et inclusif de la Guinée.

    Je vous invite à partager vos expériences et réflexions sur ce sujet crucial. Ensemble, nous pouvons enrichir notre compréhension et améliorer nos pratiques pour un impact durable et significatif.

    Cordialement,

    Jonas Sagno

     

    Références:

    [1] https://mptf.undp.org/sites/default/files/documents/rapport_final_evalu…

    [2] https://www.evalforward.org/fr/discussions/levaluation-des-actions-de-m…

    [3] https://gret.org/appel-doffres/evaluation-finale-du-projet-doperationna…

    [4] https://www.globalpartnership.org/fr/node/document/download?file=docume…

    [5] https://unesdoc.unesco.org/ark:/48223/pf0000375769

    [6] https://mptf.undp.org/sites/default/files/documents/25000/pbf-irf-104_g…

    [7] https://webapps.ifad.org/members/ec/121/docs/french/EC-2023-121-W-P-3.p…

  • Chers Collègues,

    Je pense qu'une innovation, un programme ou une politique qui a été bien élaborée, notamment suivant la démarche de la théorie du changement, a besoin de très peu d'efforts pour sa mise à l'échelle. Fondée sur un problème pertinent ou une contrainte réelle, analysé de façon participative, l'innovation, le programme ou la politique qui s'en sort fait rapidement tache d'huile, en termes d'adoption et de changement de comportement social. L'impact est facilement visible et s'étend plus aisément. L'effort de mise à l'échelle de l'innovation, du programme ou de la politique peut être mesuré à trois niveaux.

    1) Au niveau des adoptants de l'innovation ou de l'apport du programme ou de la politique. Combien sont-ils à adapter l'innovation ? Quels usages sont faits de l'innovation ou de cet apport du programme ou de la politique mis en œuvre ?

    2) Au niveau des bénéficiaires de l'exploitation de l'innovation adoptée. Car, l'adoption de l'innovation engendre des besoins qui sont satisfaits par ceux qui sont capables de les fournir et qui sont donc des bénéficiaires directs de l'adoption de l'innovation ou de l'apport du programme ou de la politique mis en œuvre. En plus des bénéficiaires directs de l'exploitation de l'innovation adoptée, il y a aussi les bénéficiaires indirects et les bénéficiaires des effets induits qu'il faut inventorier. Qui sont-ils ? combien sont-ils ? Quelle est leur répartition géographique ?

    3) Au niveau de l'impact produit par l'innovation, le programme ou la politique mise en œuvre. Il y a aussi les bénéficiaires directs, les bénéficiaires indirects de l'impact. Qui sont-ils ? combien sont-ils ? Quelle est leur répartition géographique ?

    Merci beaucoup.

  • Étendre l'Impact : Défis, Perspectives et Approches pour une Évaluation Efficace

    Étendre l’impact des innovations, des programmes et des politiques dans des domaines tels que la sécurité alimentaire, l’agriculture, le développement rural et le changement climatique constitue un défi urgent. Alors que les évaluateurs sont de plus en plus sollicités pour soutenir ces efforts, le domaine évolue pour répondre aux complexités de l’extension à grande échelle. Ce document propose une exploration approfondie de ce processus, offrant des perspectives issues d’expériences professionnelles, des critères d’évaluation, des méthodologies et l’intégration de contextes et d’acteurs variés. En s’appuyant sur des questions directrices et des ressources de base, il vise à favoriser une compréhension plus approfondie de l’extension et de son évaluation.

    Comprendre l’Extension

    L’extension fait référence à l’élargissement de la portée et de l’impact des innovations, des programmes ou des politiques pour atteindre des bénéfices sociétaux plus larges. Ce processus implique une adoption accrue, l’adaptation des interventions à différents contextes et la garantie de résultats durables.

    Dimensions de l’Extension

    • Extension Verticale (Scaling Up) : Augmenter la taille ou la portée d’une intervention pour atteindre une population plus importante.
    • Extension Horizontale (Scaling Out) : Étendre à de nouvelles zones géographiques ou démographiques.
    • Extension Profonde (Scaling Deep) : Changer les normes culturelles, sociales ou systémiques sous-jacentes pour pérenniser l’impact.

    Expériences Professionnelles en Matière d’Extension

    Les évaluateurs jouent un rôle clé dans l’évaluation et le soutien des efforts d’extension. Les domaines d’intervention principaux incluent :

    Évaluer les Innovations pour Orienter les Décisions d’Extension

    Les évaluateurs analysent souvent des programmes, des politiques ou des interventions pour déterminer leur capacité à s’étendre. Cela inclut l’analyse de :

    • Efficacité : L’innovation atteint-elle les résultats escomptés ?
    • Efficience : Les ressources sont-elles utilisées de manière optimale pour produire des résultats ?
    • Durabilité : L’innovation peut-elle maintenir son impact dans le temps ?

    Évaluer à Différents Niveaux ou Types d’Extension

    Les efforts d’extension se produisent à divers niveaux, allant des projets pilotes locaux aux mises en œuvre nationales ou mondiales. Les évaluateurs examinent :

    • Facteurs Contextuels : Comment les contextes géographiques, culturels et économiques influencent-ils la capacité à s’étendre ?
    • Préparation des Parties Prenantes : Les communautés, institutions et décideurs politiques sont-ils prêts à adopter l’innovation ?

    Évaluer le Succès des Efforts d’Extension

    Les critères de succès varient, mais incluent souvent :

    • Taux d’Adoption : Mesure dans laquelle les populations cibles adoptent l’innovation.
    • Indicateurs d’Impact : Améliorations mesurables dans des résultats tels que la sécurité alimentaire, les rendements agricoles ou la réduction des gaz à effet de serre.
    • Équité et Inclusion : Garantir que les bénéfices atteignent les groupes marginalisés ou vulnérables.

    Soutenir les Efforts d’Extension

    Au-delà de l’évaluation, les professionnels contribuent par :

    • Renforcement des Capacités : Former les parties prenantes à mettre en œuvre et pérenniser les interventions.
    • Partage des Connaissances : Diffuser les bonnes pratiques et les leçons apprises.
    • Plaidoyer Politique : Influencer les décideurs pour soutenir les initiatives d’extension.

    Leçons Tirées de l’Évaluation des Efforts d’Extension

    Défis

    • Complexité : L’extension implique souvent des systèmes interconnectés avec des dynamiques imprévisibles.
    • Sensibilité au Contexte : Les interventions efficaces dans un contexte peuvent échouer dans un autre.
    • Durabilité : Maintenir l’impact dans le temps nécessite des ressources et un engagement continus.

    Perspectives Clés

    • L’Adaptation est Essentielle : La reproduction rigide fonctionne rarement ; les interventions doivent évoluer pour s’adapter à de nouveaux contextes.
    • Impliquer les Parties Prenantes dès le Départ : Une planification inclusive garantit la pertinence et l’adhésion.
    • Suivi Continu : L’extension est un processus dynamique nécessitant des ajustements en temps réel.

    Questions Sans Réponse

    • Comment mesurer les changements systémiques à long terme résultant de l’extension ?
    • Quels cadres capturent le mieux l’interaction entre les efforts d’extension et les écosystèmes locaux ?

    Méthodes pour Évaluer les Efforts d’Extension

    Méthodes Traditionnelles

    • Cadres Logiques : Définir les intrants, activités, produits, résultats et impacts.
    • Études de Cas : Analyses détaillées des réussites ou des échecs en matière d’extension.
    • Enquêtes et Entretiens : Collecter des données qualitatives et quantitatives auprès des parties prenantes.

    Approches Innovantes

    • Approche Systémique : Cartographier les interdépendances au sein de systèmes complexes.
    • Évaluation Développementale : Adapter les processus d’évaluation aux efforts d’extension en évolution.
    • Méthodes Participatives : Impliquer les communautés dans la conception des critères d’évaluation.

    Conclusion

    Étendre l’impact est un défi multidimensionnel nécessitant des approches innovantes d’évaluation. En partageant des expériences, en adoptant des méthodes adaptatives et en plaçant les communautés affectées au centre, les évaluateurs peuvent jouer un rôle crucial dans la promotion de solutions évolutives aux enjeux mondiaux pressants.

    Pour Aller Plus Loin

    • Scaling Impact: Innovation for the Public Good de Robert McLean et John Gargani (2019).
    • Stuck on Scale de Lennart Woltering (2024).
    • Innovation Portfolio Management de Schut et al. (2024).
  • Alors que l'année 2024 touche à sa fin, j'ai pensé partager plus de ressources GRATUITES sur la mise à l'échelle (voir ci-dessous). De plus, je tiens à annoncer qu'en 2025, le CRDI prévoit de lancer un MOOC (cours en ligne ouvert à tous) gratuit sur le passage à l'échelle de l'impact. La date de lancement reste à déterminer. En attendant...

    Livre, guide pratique et autres ressources sur le passage à l'échelle de l'impact au CRDI

    Anglais: https://idrc-crdi.ca/en/scalingscience Français: https://idrc-crdi.ca/fr/misealechelle Espagnol: https://idrc-crdi.ca/es/scalingscience

    Vidéo

    Mesure d'impact : cinq grandes idées (Gargani, 2024) https://www.youtube.com/watch?v=_k49xuTZyu0

    Articles

    Science de la mise à l'échelle (Gargani & McLean, 2017) https://ssir.org/articles/entry/scaling_science

    Évaluation dynamique de la recherche agricole pour le développement soutient l'innovation et la mise à l'échelle responsable grâce à l'inclusion de haut niveau (Gargani, Chaminuka & McLean, 2024) https://www.sciencedirect.com/science/article/pii/S0308521X24001823

    Site web

    scalingXchange Un appel à l'action du Sud Global https://www.scalingxchange.org/

    À bientôt dans la nouvelle année !

    John

  • Merci à tous ceux qui ont contribué jusqu'à présent. La profondeur et l'étendue des expériences sont impressionnantes, et elles mettent en lumière pourquoi l'élargissement d'échelle est si difficile : il est entrepris de nombreuses manières, dans des contextes divers, à des fins différentes et par le biais de multiples voies.

    Lorsque Rob McLean et moi avons écrit Scaling Impact: Innovation for the Public Good, nous voulions comprendre ce que les innovateurs du Sud global considéraient comme un élargissement d'échelle réussi. Nous avons beaucoup appris. Nous avons également découvert à quel point nous avons encore à apprendre.

    Un domaine d’apprentissage concerne la manière d’évaluer les efforts d’élargissement d’échelle. Cela est différent d’évaluer si une innovation, un programme, une politique, etc., fonctionne (d’une certaine manière) à différentes échelles. C’est important. Mais, à mon avis, en évaluant l’élargissement d’échelle, la question est la suivante : dans quelle mesure cet élargissement a-t-il été entrepris pour atteindre le meilleur impact (d’une certaine manière) ?

    Une partie de ma difficulté à répondre à cette question évaluative réside dans la perspective. Je pense que nous voulons toujours y répondre du point de vue des personnes touchées par cet élargissement. En outre, nous pourrions vouloir y répondre du point de vue de l’innovateur qui guide une innovation tout au long de son cycle de vie, de sa chaîne de développement, de sa diffusion, etc. Ou bien nous pourrions y répondre du point de vue des organisations qui mettent en œuvre des programmes, vendent des produits ou promeuvent des politiques encourageant l’utilisation et/ou les avantages d’une innovation ou d’un ensemble d’innovations. Par ailleurs, nous pourrions considérer les nombreuses variations d’une innovation qui peuvent découler d’une découverte (par exemple, l’intelligence artificielle), et comment, collectivement, leur concurrence et leur complémentarité créent des impacts souvent imprévus, pour le meilleur ou pour le pire. Et enfin, il y a la perspective plus large des systèmes, où l’innovation n’est qu’un facteur parmi d’autres. Cette liste n’est pas exhaustive.

    Quelles perspectives importent ? Dans quelle mesure est-il faisable d’en considérer plusieurs à la fois ? Comment prenons-nous en compte le fait que certains peuvent bénéficier d’une innovation tandis que d’autres non ? Ou est-ce plus simple que cela ?

  • Bonjour à tous,

    En réfléchissant à mon expérience, mon travail s'est principalement concentré sur trois axes clés de l'évaluation de l'innovation et du déploiement :

    1. Évaluation des systèmes Le déploiement nécessite des critères de succès clairs qui reflètent les besoins et les contextes spécifiques. Par exemple, les interventions localisées peuvent ne pas s'appliquer universellement, et certaines innovations peuvent devenir obsolètes ou contre-productives avec le temps. Étant donné la nature multidimensionnelle du déploiement - couvrant les aspects socio-économiques, écologiques et culturels - les cadres doivent aligner les stratégies à travers divers contextes et composants. Évaluation de la valeur des efforts de déploiement en mesurant les rendements potentiels, les coûts et les conséquences non intentionnelles. La mécanique de diffusion, telle que les modèles de diffusion adoptés au moyen d'outils tels que le modèle de Bass, aide à comprendre la trajectoire de l'adoption précoce et de la croissance jusqu'à la saturation éventuelle. Les évaluations et simulations de risques basées sur des scénarios sont utiles pour identifier les conditions de succès, anticiper les défis et affiner les stratégies de déploiement.

    2. Évaluation des réseaux Comprendre l'écosystème des parties prenantes - qu'il soit étroitement lié ou dispersé - peut aider à identifier les premiers utilisateurs et à orienter une stratégie de déploiement plus large. Il est essentiel de répondre aux intérêts et aux agendas divers des différentes parties prenantes, tels que le gouvernement, le secteur privé et les dirigeants locaux, afin d'aligner les incitations et de garantir l'adhésion. Il est essentiel d'atténuer la résistance de ceux qui bénéficient du statu quo pour surmonter les obstacles. Explorer les opportunités de co-création, telles que le financement collaboratif, les alliances stratégiques et les partenariats public-privé

    3. Évaluation de l'adaptabilité L'intégration de l'évaluation dans des approches adaptatives favorise l'apprentissage continu grâce à la conception itérative, aux tests, à l'adaptation et aux boucles de rétroaction exécutées dans des cycles courts. Des outils tels que l'approche des résultats rapides (ARR) utilisent des processus structurés pour améliorer la focalisation et la collaboration entre les équipes de livraison, l'évaluation établissant des mesures de performance pour stimuler les résultats de manière itérative.

     

  • Bonjour à tous,

    Permettez-moi de vous présenter la Communauté de Pratique sur le Déploiement (CoP), un réseau volontaire de professionnels du développement et du changement climatique qui travaillent à atteindre un impact à grande échelle. La CoP a été fondée en 2015 par Larry Cooley et Johannes Linn en tant que plateforme de partage d'expériences et d'apprentissage sur le déploiement à travers différents secteurs, et compte désormais plus de 2000 membres du monde entier. La mission de la CoP est d'intégrer, de distiller et de consolider l'expertise en matière de déploiement dans le but d'améliorer la qualité des efforts de déploiement et d'encourager davantage d'acteurs du développement et du climat à adopter une mentalité et des meilleures pratiques de déploiement.

    Tous sont invités à rejoindre la CoP et ses groupes de travail affiliés :

    Agriculture et développement rural Changement climatique Éducation États fragiles Santé Intégration Suivi et évaluation Nutrition

    La CoP a produit un certain nombre de rapports qui pourraient intéresser les collègues d'EvalForward. Les rapports sont accessibles ici. Le rapport de 2022 sur les Principes et leçons du déploiement (Kohl et Linn) pourrait être particulièrement intéressant. Il vise à répondre au besoin d'une déclaration concise des principes et leçons du déploiement qui s'appliquent largement à tous les secteurs et qui sont conçus pour guider les praticiens du développement. Le document présente huit principes de déploiement et 21 leçons qui décryptent ces principes, regroupés en six grandes questions sur la manière de relever le défi du déploiement.

    Le Sourcebook 2019 Scale Up (Cooley et Howard) se concentre sur le déploiement dans le secteur de l'agriculture, en particulier dans les programmes internationaux de recherche et de développement agricoles. Le chapitre 6, "Adapter les mesures, le suivi et l'évaluation pour soutenir des résultats durables à grande échelle", note, par exemple, en ce qui concerne les questions qui guident cette discussion :

    "... relativement peu de projets de recherche ou pilotes génèrent les informations critiques nécessaires pour aller au-delà de la preuve de concept et fournir une base pour évaluer la scalabilité, rationaliser la livraison, informer le plaidoyer et guider le déploiement. Cependant, l'expérience du déploiement montre de plus en plus que les trois types ou niveaux d'information suivants, qui se chevauchent mais sont différents, sont nécessaires : Les informations de niveau 1 sont générées pour tester l'efficacité des interventions, souvent dans des conditions contrôlées ou semi-contrôlées. Les informations de niveau 2 sont utilisées pour affiner, simplifier et adapter les interventions aux considérations politiques, financières et opérationnelles de la vie réelle. Les informations de niveau 3 sont générées au cours du processus de déploiement pour surveiller la fidélité et informer les ajustements nécessaires à la conception de l'intervention et à la stratégie de déploiement pendant le processus de déploiement."

    Il est tentant de considérer ces niveaux comme une séquence de besoins d'information dans le temps, à mesure que l'accent mis sur le déploiement passe de l'efficacité à l'efficience à l'expansion. Cependant, l'expérience suggère la nécessité d'intégrer les considérations d'efficacité et d'expansion, et de tester les résultats dans des conditions réalistes, le plus tôt possible, plutôt que de reporter ces questions jusqu'à ce que la preuve de concept soit bien établie. Ne pas le faire risque sérieusement d'ajouter au cimetière des technologies "prouvées" mais non déployables."

    En outre, l'un des principaux documents de référence (tout nouveau - 2024) cité pour cette discussion a été élaboré par un autre co-auteur du groupe de travail Agriculture et développement rural de la CoP, Lennart Woltering, Stuck on Scale: Rethinking Scaling and Systems Change for AR4D.

    Woltering affirme que "les organisations AR4D sont largement coincées dans des notions simplistes, linéaires et techno-centriques de la façon dont le changement se produit, ce qui se manifeste par la notion omniprésente du déploiement d'innovations". Il soutient qu'une "approche systémique (au lieu d'une approche linéaire) est nécessaire pour s'attaquer aux problèmes complexes persistants tels que l'insécurité alimentaire et la pauvreté, et pour mieux comprendre comment les systèmes alimentaires peuvent se transformer pour devenir plus durables sur le plan environnemental, contribuer à la sécurité alimentaire et améliorer l'équité économique".

    Ma conclusion est que nos pratiques actuelles de M&E sont inadéquates pour répondre même à la vision la plus simpliste et linéaire du déploiement, et encore moins aux dimensions systémiques cruciales discutées par Woltering.

    Je suis heureux qu'EvalForward ait convoqué cette discussion pour nous permettre de mettre nos têtes ensemble afin d'améliorer le M&E lié au déploiement dans le domaine de l'AR4D. J'ai hâte de lire et de contribuer à la discussion dans les semaines à venir. Et - en attendant - un chaleureux bienvenue à tous pour rejoindre la CoP Scaling !

  • Mesurer ce qui compte - Paramètres d'évaluation critiques négligés

    En me basant sur le sous-titre de cette évaluation, permettez-moi de développer quelques paramètres critiques mais négligés qui, une fois inclus, pourraient changer radicalement la façon dont nous assistons les communautés de petits exploitants et peut-être mieux les inciter à accepter les innovations destinées à améliorer leur bien-être. Ces paramètres peuvent être observés sans même interviewer les agriculteurs, ou du moins confirmés par des données d'entretien.

    Le paramètre critique est le "calendrier des opérations de terrain". Quelqu'un a-t-il déjà pris cela en compte ? Combien de temps faut-il aux agriculteurs pour accomplir des tâches de base telles que l'établissement des cultures, le désherbage, la récolte et le battage ? Comment cela se compare-t-il à ce que les spécialistes du développement anticipent ? Pourquoi y a-t-il de tels retards ? En général, le délai prévu pour l'établissement des cultures n'est que de 2 semaines. Cependant, si l'on examine attentivement l'agriculture manuelle, comme la pratiquent encore la plupart des petits exploitants, on constate qu'il s'étend sur plus de 8 semaines, ce qui dépasse largement le délai prévu pour une mise en œuvre optimale d'activités intermédiaires comme le désherbage, et entraîne une baisse bien comprise du potentiel de rendement. Une simple observation physique des champs associés à une communauté de projet permettrait de constater facilement cet écart dans l'établissement des cultures. Le retard est généralement noté par le personnel de développement, mais il n'est pas évalué et attribué à un manque de motivation, à une éducation insuffisante sur l'importance d'un semis précoce ou à la répartition des risques. J'ai tendance à rejeter toutes ces raisons et à en ajouter une autre plus probable.

    En effet, les agriculteurs ont un apport calorique alimentaire limité par rapport à ce qui est nécessaire pour une journée complète de travail agricole. Nous avons tendance à reconnaître que les agriculteurs sont pauvres et ont faim, mais nous ne parvenons pas à prendre en compte la faim comme un obstacle à la gestion des cultures. Ce serait un autre paramètre critique largement négligé, pour lequel on dispose étonnamment peu de données solides. Les rares données disponibles montrent que les petits exploitants ont de la chance d'avoir accès à 2500 kcal/jour, ce qui, après avoir soustrait 2000 kcal/jour pour le métabolisme de base, ne laisse que 500 kcal/jour pour l'effort physique. Face à ce régime alimentaire limité, les besoins nutritionnels pour une journée complète de travail agricole s'élèvent à 4000 kcal. Avec seulement 500 kcal, la journée de travail se limite à quelques heures consciencieuses, suivies peut-être de quelques heures supplémentaires à moindre effort. Il est intéressant de noter qu'au Kenya, on m'a appris que la journée de travail occasionnelle n'est que de 5 heures. Si nous ajoutions ce paramètre à nos évaluations, cela nous permettrait-il de mieux comprendre les difficultés des petits exploitants et de leur fournir des conseils pour améliorer la gestion des cultures et la sécurité alimentaire ? Cependant, il faut reconnaître qu'il s'agit d'un obstacle majeur à l'adoption des techniques agronomiques avant qu'il ne soit inclus comme un paramètre nécessaire aux évaluations.

    Une autre approche rapide du problème, et peut-être un moyen de confirmer la nécessité de s'attaquer à la question, consiste simplement à effectuer une visite de terrain où l'on peut observer une variété d'exploitations et voir combien de personnes travaillent dans les champs le matin et après le déjeuner. Je m'attends à une baisse importante pour l'observation de l'après-midi. C'est ce qui s'est passé à Madibira, en Tanzanie, sur le projet de riziculture irriguée de 3 000 hectares sur lequel j'ai travaillé, et cela a stimulé mon intérêt pour la question de l'équilibre énergétique alimentaire.

    Si l'énergie alimentaire est un facteur critique pour la croissance de la production agricole, à quel point sera-t-il important de faciliter l'accès des petits exploitants à la mécanisation contractuelle afin de réduire la pénibilité du travail et d'accélérer l'établissement des cultures, leur permettant ainsi de se concentrer sur d'autres activités importantes de gestion des cultures ? L'importance de la mécanisation pour les petits exploitants est facilement visible en Asie productrice de riz, où, il y a plus de 30 ans, les agriculteurs sont passés des buffles d'eau aux motoculteurs

  • Merci. C'est très précieux.

    J'espère qu'Hézékia envisagera d'examiner le déploiement en termes de :

    Développement de politiques pour permettre des innovations similaires, en plus de 'Expansion' horizontale des facteurs de succès. Les deux présentent des avantages et des inconvénients que la discussion peut apprendre en se basant sur son expérience et celle des autres.

    Bonne chance. Kudzai Chatiza PhD. (Mudombi) 

    Chercheur et consultant senior en développement

  • Cher Hézékiah,

    Je vous remercie pour vos commentaires et vos questions complémentaires.

    Étant donné que les interventions du projet se concentrent davantage sur l'influence de la planification que sur la mise en œuvre directe, mon explication précédente (engagement des parties prenantes dans des processus participatifs et promotion de collaborations solides entre plusieurs parties prenantes pour la co-conception) est essentielle pour garantir un impact réel de l'approche. Bien que nous n'ayons pas encore réalisé d'évaluation indépendante de ce projet, les "histoires de changement" nous ont permis d'auto-évaluer son impact dans une certaine mesure. Ces histoires documentent les pratiques et les défis fructueux en tant que références pour la réplication dans d'autres contextes, soutenant finalement une évaluation factuelle de l'efficacité de la stratégie. (Elles seront publiées prochainement.)

    Les indicateurs établis pour suivre les progrès comprennent :

    1. Suivi du processus : Permet de suivre la réalisation des objectifs au niveau des extrants.
    2. Indicateurs de niveau d'impact : Mesurent les progrès réalisés vers la réalisation de ces objectifs.
    3. Histoires de changement : Décrivent l'impact du projet sur les parties prenantes individuelles ou les institutions.

    Un évaluateur chargé d'évaluer ces processus participatifs et la collaboration entre les parties prenantes serait susceptible de prêter attention aux points suivants :

    • Représentation et inclusion : Garantir la participation de tous les groupes, y compris les plus vulnérables.
    • Participation effective : Contribution significative, transparence et équité tout au long du processus.
    • Synergies pour aligner les objectifs : Collaboration pour garantir l'alignement des objectifs.
    • Résultats collaboratifs : Extrants ou plans d'action reflétant un consensus partagé.

    Toute personne souhaitant consulter les extrants et les produits de connaissance du projet peut y accéder via le lien suivant : https://www.cifor-icraf.org/project/scaling-JA-palmoil/#home

  •  

    Cher Hézékiah,

    En développant mes réponses précédentes et en répondant à vos questions, il est important de noter les considérations suivantes. L'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) utilise plusieurs approches d'évaluation contextuelles pour évaluer efficacement le succès de ses initiatives. Voici quelques stratégies spécifiques utilisées par la FAO :

    Engagement des parties prenantes : La FAO implique activement les parties prenantes à différents niveaux, y compris les communautés locales, les organismes gouvernementaux et les ONG, dans le processus d'évaluation. Cette approche participative permet de recueillir des perspectives diverses, garantissant que les évaluations sont ancrées dans les réalités et les besoins des personnes directement concernées.

    Analyse contextuelle : Avant les évaluations, la FAO réalise des analyses contextuelles approfondies pour comprendre les facteurs socio-économiques, environnementaux et culturels qui influencent les pratiques agricoles et la sécurité alimentaire dans des régions spécifiques. Cela permet d'adapter les évaluations aux conditions et aux défis locaux.

    Utilisation de méthodes mixtes : La FAO utilise une combinaison de méthodes qualitatives et quantitatives dans ses évaluations. En intégrant des enquêtes, des études de cas, des discussions de groupe et des entretiens, l'organisation peut obtenir une vision globale des résultats et des impacts, en tenant compte de la complexité des contextes locaux.

    Et assurer le succès de la durabilité dans le déploiement de projets agricoles est essentiel pour un succès et un impact à long terme. Plusieurs indicateurs peuvent aider à évaluer la durabilité des efforts de déploiement dans de telles initiatives. Voici quelques indicateurs clés à considérer :

    1. Viabilité économique :
      • Ratio coût-bénéfice : Mesurer les retours économiques du projet par rapport aux coûts engagés.
      • Marge bénéficiaire : Évaluer la rentabilité des opérations à grande échelle.
      • Accès au marché et intégration de la chaîne de valeur : Évaluer la capacité des agriculteurs à accéder aux marchés et leur participation aux chaînes de valeur.
    2. Impact environnemental :
      • Santé des sols : Surveiller la fertilité des sols, les taux d'érosion et la teneur en matière organique.
      • Biodiversité : Mesurer la diversité des cultures et de la faune dans la zone d'influence du projet.
      • Utilisation de l'eau : Évaluer l'efficacité de l'utilisation de l'eau et la durabilité des ressources en eau utilisées dans les pratiques agricoles.
    3. Équité sociale :
      • Participation de la communauté : Évaluer le niveau d'engagement et de participation des parties prenantes locales à la prise de décision.
      • Accès aux ressources : Surveiller l'accès équitable à la terre, au crédit et aux intrants pour tous les agriculteurs, en particulier les groupes marginalisés.
      • Inclusion du genre : Évaluer la participation des femmes et des groupes marginalisés à l'agriculture, à la prise de décision et aux avantages du projet.
    4. Résilience et adaptabilité :
      • Pratiques de gestion des risques : Évaluer l'adoption de pratiques qui renforcent la résilience au changement climatique, aux ravageurs et aux fluctuations du marché.
      • Diversification des sources de revenus : Analyser la diversification des sources de revenus des agriculteurs impliqués dans le projet.
    5. Adoption technologique et innovation :
      • Utilisation de pratiques durables : Mesurer l'étendue de l'adoption de pratiques agricoles durables, telles que l'agriculture biologique, l'agriculture de conservation et l'agroforesterie.
      • Transfert d'innovation : Évaluer l'efficacité des mécanismes de transfert de connaissances et de technologies.
    6. Renforcement des capacités et éducation :
      • Programmes de formation et de soutien : Évaluer la disponibilité et l'efficacité des programmes de formation pour les agriculteurs.
      • Accès à l'information : Surveiller la disponibilité et l'accessibilité de la recherche agricole et des services de vulgarisation.
    7. Impact sur les communautés locales :
      • Sécurité alimentaire : Mesurer les changements dans les niveaux de sécurité alimentaire des ménages dans la zone cible.
      • Amélioration de la nutrition : Évaluer les améliorations de la diversité alimentaire et de la nutrition des populations locales.

    J'espère que cela est utile. 

    Cordialement, 

    Serdar Bayryyev, Spécialiste principal de l'évaluation, FAO

  •  

    Cher Serdar, Monica et Mike,

    Merci pour vos contributions très éclairantes.

    Nous nous concentrons sur la manière d'évaluer les efforts de déploiement des innovations de recherche agricole pour le développement (AR4D), en particulier les méthodes qui se prêtent à l'évaluation des processus et des performances.

    Serdar : Excellents exemples et informations sur les critères d'évaluation du succès. Vous avez évoqué l'importance des évaluations contextuelles, quelles approches spécifiques la FAO a-t-elle utilisées pour y parvenir ? Quels indicateurs de durabilité des efforts de déploiement devrait-on rechercher ?

    Monica : Merci pour l'exemple du projet du CIFOR. J'ai lu vos réflexions du point de vue de la conception de projet, le projet a-t-il été évalué ? Quelques questions. Que devrait rechercher un évaluateur lors de l'évaluation des processus participatifs et des collaborations multi-parties prenantes ? Pouvez-vous s'il vous plaît élaborer sur les mécanismes et les mesures spécifiques qui ont été établis pour suivre les progrès ? L'existence d'histoires de changement et de voies de mise en œuvre serait-elle des indicateurs utiles pour le processus de déploiement ?

    Mike : Oui, le déploiement de l'innovation est complexe. Je suis curieux de connaître vos perspectives sur les complexités inhérentes aux initiatives de déploiement, veuillez partager quelques détails. Comment un évaluateur devrait-il traiter de telles complexités dans le cadre d'un exercice d'évaluation limité dans le temps ? Quels types d'informations devrions-nous recueillir pour évaluer ces complexités ? Devrions-nous même tenter d'évaluer le type de systèmes complexes qui sous-tendent le déploiement pour un impact ?

    Vos idées sont grandement appréciées.

  • Cher Hezekiah,

    Nous avons évalué différents programmes et interventions de la FAO et de ses partenaires visant à améliorer la sécurité alimentaire et l'agriculture durable. Ces rapports sont disponibles sur notre site: https://www.fao.org/evaluation/en/

    Dans de nombreux cas, nos évaluations ont permis aux parties prenantes de comprendre si des actions avaient été menées pour étendre davantage le programme et si cette mise à l'échelle a fonctionné ou non. Nous avons exploité ces résultats pour formuler des recommandations concrètes sur la mise à l'échelle, en mettant en évidence les principaux facteurs de succès qui ont conduit à des stratégies d'adoption plus large, à une échelle supérieure ou dans d'autres endroits.

    Voici quelques exemples de cas:

    1. La gestion intégrée des ravageurs (IPM pour Integrated Pest Management en anglais): Une évaluation de la mise en œuvre par la FAO de l'IPM dans différentes régions a montré des améliorations significatives dans la lutte contre les ravageurs et les rendements des cultures. L'évaluation a souligné la manière dont la formation des agriculteurs locaux et l'adaptation des stratégies IPM ont produit de bons résultats. Elle a informé les parties prenantes sur les bénéfices potentiels de la mise à l'échelle des programmes IPM dans d'autres zones agricoles, en particulier dans des pays confrontés à des problématiques similaires concernant les ravageurs. Les approches participatives impliquant les communautés locales et la mise à profit des connaissances traditionnelles comptent parmi les principaux facteurs de réussite identifiés.

    2. L'initiative «Amélioration de la gouvernance mondiale pour la sécurité alimentaire»: Ce programme visait à améliorer la coopération entre les parties prenantes pour la sécurité alimentaire. Les évaluations ont révélé que l'amélioration des structures de gouvernance ont permis d'améliorer l'implication des parties prenantes et l'allocation des ressources. Les conclusions ont préconisé d'étendre la formation en gouvernance aux niveaux locaux en tant que meilleure pratique qui pourrait être adoptée dans d'autres régions. L'évaluation a souligné l'importance d'établir des canaux de communication et des cadres de collaboration clairs, qui sont essentiels pour obtenir des résultats positifs en matière de sécurité alimentaire.

    3. L'agriculture intelligente face au climat. Les évaluations des programmes d'agriculture intelligente face au climat de la FAO ont démontré la manière dont l'intégration de la résilience climatique dans les pratiques agricoles a été bénéfique aux agriculteurs dans de nombreux pays. Les évaluations ont montré que la mise à l'échelle de ces interventions a conduit à l'amélioration de la productivité et de la durabilité. Les facteurs de réussite principaux comprenaient notamment la délivrance d'une assistance technique, l'accès aux informations climatiques et la mise en place de parcelles de démonstration. Par conséquent, des recommandations ont été formulées pour étendre les initiatives d'agriculture intelligente face au climat dans d'autres zones agricoles vulnérables. 

    4. Programme de sécurité alimentaire et nutritionnel en Éthiopie: L'évaluation de ce programme à multiples facettes a montré des améliorations significatives dans la diversité des régimes alimentaires et l'accès aux aliments parmi les foyers ciblés. Elle a mis en évidence l'importance de la participation communautaire et d'un contenu spécifique au contexte local dans les modules de formation, qui a été déterminant pour la mise en œuvre réussie de l'initiative. Les recommandations ont préconisé une expansion du programme dans d'autres régions éthiopiennes et au-delà, sur la base des résultats positifs observés, en soulignant le rôle central des interventions spécifiques au contexte.

    5. Soutien aux petits exploitants agricoles: Une évaluation examinant les initiatives de la FAO visant à soutenir les petits exploitants agricoles à travers l'accès aux ressources et aux marchés a conclu que ces programmes ont eu un fort taux de succès en termes d'amélioration de la sécurité alimentaire et des niveaux des revenus. Les modèles de réussite ont été identifiés pour une mise à l'échelle potentielle dans différents contextes en Afrique et en Asie. Le rapport a souligné l'importance d'instaurer des partenariats locaux et des mécanismes de soutien continu pour assurer la durabilité et l'efficacité sur le long terme. 

    Ces évaluations illustrent, entre autres, la manière dont la FAO et ses partenaires utilisent les évaluations pour en tirer des indications concrètes qui facilitent la mise à l'échelle des programmes visant l'amélioration de la sécurité alimentaire et la promotion des pratiques agricoles durables dans le monde. Les résultats fournissent une feuille de route pour la reproduction et l'adaptation dans de nombreux contextes, contribuant en fin de compte à des actions plus larges pour atteindre les objectifs de sécurité alimentaire.


    Enseignements tirés:
    L'un des principaux enseignements a concerné l'importance des évaluations sensibles au contexte qui prennent en compte les conditions locales et les dynamiques des parties prenantes. En outre, l'implication des communautés locales dans le processus d'évaluation améliore l'appropriation et la pertinence des initiatives de mise à l'échelle. Parmi les critères pouvant être utilisés pour évaluer la réussite de la mise à l'échelle figurent les éléments suivants:

    - La preuve d'une amélioration de l'accès aux innovations ou de leur adoption.

    - Des changements positifs dans les réalisations visées (par exemple, une amélioration des moyens d'existence ou de la sécurité alimentaire).

    - La durabilité des efforts de mise à l'échelle dans le temps.


    J'attends avec impatience les discussions à venir et les apprentissages partagés sur ce thème important.

     

  • En réfléchissant à mon expérience avec le projet du CIFOR, "Élargir les approches juridictionnelles dans le secteur de l'huile de palme", qui visait à améliorer la préparation de quatre grandes régences productrices d'huile de palme en Indonésie, j'ai pu constater que l'élargissement dans ce contexte implique l'expansion d'approches et d'innovations réussies à travers différentes juridictions, tout en veillant à leur adaptation aux contextes locaux.

    Au cours de la phase de mise en œuvre, nous avons impliqué les parties prenantes dans des processus participatifs, favorisé de solides collaborations multi-acteurs pour co-concevoir une théorie du changement, une théorie de l'action et un cadre de suivi et d'évaluation spécifiques à chaque juridiction, et mis à l'échelle des solutions efficaces sous forme de recommandations adaptables au plan d'action régional au niveau des juridictions et intégrées dans des politiques telles que les Plans d'action régionaux et nationaux pour l'huile de palme durable (RAD KSB et RAN KSB) afin d'assurer une durabilité à long terme.

    Pour mesurer et évaluer les efforts de mise à l'échelle, nous avons mis en place des mécanismes robustes avec des indicateurs spécifiques pour suivre les progrès. Nous avons assuré l'intégration des politiques en alignant nos efforts avec le RAD KSB et le RAN KSB pour soutenir des objectifs de durabilité plus larges, et nous avons procédé à une documentation systématique, élaboré l'histoire du changement et identifié des voies viables pour la mise en œuvre de programmes juridictionnels, favorisant ainsi l'apprentissage et l'adaptabilité tout au long du processus de mise à l'échelle.

  • Le besoin urgent d'amplifier l'impact dans des secteurs critiques tels que la sécurité alimentaire, l'agriculture, le développement rural et le changement climatique présente à la fois des défis et des opportunités. En tant qu'évaluateurs, nous sommes de plus en plus chargés de fournir des informations rigoureuses pour guider et soutenir ces efforts d'amplification.

    Fort de mon expérience professionnelle, j'ai été profondément impliqué dans l'amplification d'un programme d'extension agricole communautaire et dans l'évaluation de l'impact d'une initiative d'agriculture intelligente face au climat dans plusieurs régions. Ces expériences m'ont apporté de précieuses perspectives sur les complexités inhérentes à l'amplification des initiatives et ont souligné le rôle critique d'une évaluation solide pour stimuler des résultats durables.