Les services numériques pour l'agriculture offrent une opportunité unique d'améliorer l'accès des petits exploitants agricoles aux informations, aux marchés et aux services financiers. Toutefois, ces services sont difficiles à développer à plus grande échelle et connaissent souvent de faibles niveaux d'adoption et d'utilisation. Dans les programmes financés par les donateurs, le suivi, l'évaluation et l'apprentissage (SEA) peut jouer un rôle essentiel pour examiner les difficultés liées à l'adoption de ces services par les petits exploitants agricoles et identifier des enseignements à tirer pour que ces services fonctionnent auprès des populations rurales à faibles revenus. Mais le SEA est souvent imposé par les donateurs pour suivre l'impact de leur financement et les fournisseurs de service les associent souvent à l'élaboration de comptes rendus ennuyeux dont ils peinent à voir la valeur. Est-il possible de renouveler l'image du SEA et d'adapter ses outils afin de collaborer efficacement avec les partenaires du secteur privé?
Cette question a largement influencé l'approche SEA que j'ai conçue pour le Fonds pour l'innovation du GSMA qui vise la numérisation des chaînes de valeur agricole. Ce fonds pour l'innovation, financé par le FCDO, a fourni une assistance technique et des subventions basées sur les résultats à six entreprises qui développent et mettent à l'échelle des services numériques pour l'agriculture. Pour en savoir davantage sur ce projet, la méthodologie SEA et les résultats, consultez le rapport Improving Farmer Livelihoods Through Digitised Agricultural Value Chains (Amélioration des moyens d'existence des agriculteurs à travers des chaînes de valeur agricoles numérisées). Une approche similaire est actuellement mise en œuvre au sein de l'accélérateur GSMA AgriTech Accelerator, financé par la Coopération allemande (GIZ), qui fournit une assistance à 10 entreprises AgriTech qui développent des services numériques pour améliorer les moyens d'existence des agriculteurs et la résilience climatique.
Ce blog fournit les principaux enseignements tirés de la conception d'une approche SEA attrayante adaptée aux fournisseurs de services numériques pour l'agriculture.
Renouveler l'image du SEA pour trouver un écho dans le secteur privé
De nombreux outils SEA peuvent servir un double objectif: satisfaire les besoins en termes de rapportage et d'apprentissage, tout en étant utiles pour les entreprises. Lors de la conception des cadres de SEA, il est essentiel de réfléchir à la proposition de valeur du SEA qui sera communiquée aux partenaires du secteur privé. Il est judicieux de différencier les objectifs internes, tels que la vérification des résultats ou la communication aux donateurs et les objectifs d'apprentissage pour les partenaires du secteur privé afin de remodeler cette nouvelle image du SEA. L'alignement des questions d'apprentissage du SEA sur la vision et les objectifs des fournisseurs de service est essentiel pour formuler une proposition de valeur claire. Au lieu de souligner le rôle du SEA pour le suivi de la performance du projet et l'élaboration des comptes rendus pour les donateurs par exemple, nous avons préféré le présenter sous l'angle de l'assistance technique qui leur permettrait de mieux comprendre leurs utilisateurs, d'améliorer et d'étendre leurs services. Les instruments peuvent également être renommés pour trouver un écho dans le secteur privé; notre théorie du changement est par exemple devenue la «feuille de route de l'impact» ou le «plan directeur» du projet. Enfin, il est essentiel d'obtenir l'adhésion des cadres supérieurs et de travailler avec eux, ainsi qu'avec les personnes proches de la mise en œuvre, telles que les responsables de produits, afin de s'assurer que les conclusions du SEA seront prises en compte pour améliorer les modèles commerciaux et faire en sorte que les services soient davantage centrés sur l'agriculteur.
La nouvelle image du SEA du GSMA communiquée aux partenaires du secteur privé
Déveloper des outils SEA utiles pour les partenaires du secteur privé
L'ensemble des compétences en SEA se prête bien aux projets visant à tester ou étendre de nouveaux services et aux entités commerciales en quête d'investissements supplémentaires. La conception de stratégies de l'impact, la mise en place d'indicateurs principaux de performance (KPI), la collecte et l'analyse des données du service ainsi que la gestion réflexive sont des activités que les spécialistes en SEA et les responsables commerciaux de produit connaissent bien. La réalisation d'ateliers d'évaluation des besoins en termes de SEA lors du démarrage d'un projet est une bonne manière d'identifier les priorités des partenaires du secteur privé, les synergies potentielles et la manière dont les instruments de SEA peuvent contribuer à atteindre leurs objectifs stratégiques. Nous avons utilisé la théorie du changement pour cartographier les risques potentiels du business plan des services à développer et pour identifier les domaines d'impact alignés sur l'investissement environnemental, social et de gouvernance (ESG), car il est souvent demandé aux entreprises de démontrer la valeur et l'impact de leurs services pour lever des fonds ou rendre compte de la durabilité. Plus précisément, nous avons examiné de manière spécifique les superpositions entre les indicateurs principaux de performance d'impact destinés aux donateurs que nous devions collecter et les données en matière d'ESG en agriculture, telles que les paramètres agricoles identifiés par l'outil de benchmark IRIS+ développé par le Global Impact Investing Network[1]. En résumé, les indicateurs principaux de performance et la collecte des données devraient inclure des points de données utiles aux entreprises pour leurs activités de rapportage, de communication et de recherche de financement.
Les instruments de SEA du GSMA AgriTech présentés à travers leur proposition de valeur pour les partenaires du secteur privé
Établir des boucles de rétroaction afin de mettre à profit les résultats pour l'itération du produit
L'augmentation des taux de diffusion et d'activités sont des objectifs commerciaux essentiels pour les fournisseurs de service. À cette fin, une conception centrée sur l'homme peut contribuer à surmonter certaines difficultés liées à l'utilisation des services par les petits exploitants. Il est nécessaire pour cela de s'appuyer sur une collecte régulière des observations de la part des utilisateurs afin d'éclairer les changements à effectuer dans les services ou l'offre. Le SEA peut tirer profit de son expertise en matière de recherche qualitative et quantitative pour fournir une analyse indépendante de la navigation de l'utilisateur et identifier les points faibles et les opportunités d'amélioration des services pour les petits exploitants. Nous avons consacré jusqu'à trois enquêtes quantitatives par service pour obtenir les observations des petits exploitants sur ces services, ce qui nous a également permis de rendre compte des indicateurs principaux de performance relatifs aux produits et aux premières réalisations, tels que la satisfaction des agriculteurs par rapport aux services et les changements de comportement dans les pratiques agricoles. La mise en place de points de contact réguliers avec les partenaires du secteur privé pour débriefer et réfléchir ensemble sur les résultats issus des données collectées par le SEA contribue à tirer des enseignements et à identifier des mesures concrètes à prendre suite aux observations des utilisateurs. L'une de nos enquêtes a par exemple montré que les agriculteurs qui utilisaient des services numériques de conseil fournis par nos partenaires agritech en Indonésie et au Pakistan n'étaient pas au courant des nouveaux conseils agricoles additionnels proposés par le service ou des nouvelles fonctionnalités telles que les prévisions météo. Nous avons partagé les résultats avec les deux partenaires agritech et les spécialistes de l'expérience des utilisateurs et nous avons discuté des manières possibles de résoudre le problème. En fin de compte, des notifications push générées par l'app mobile et des informations par SMS ont été introduites pour attirer les utilisateurs vers un contenu spécifique.
Copie d'écran d'une session anonymisée pour identifier les apprentissages et les améliorations du produit en se basant sur les données du SEA.
---
Le renouvellement de l'image du SEA, le développement d'instruments utiles pour les partenaires et la création de boucles de rétroaction pour veiller à ce que les résultats soient réalisables ont considérablement aidé à redorer le blason du SEA aux yeux des partenaires du secteur privé. Les commentaires recueillis lors des ateliers ont montré que le SEA était perçu comme très utile et que la collecte des données menait à des apprentissages concrets. Cette adhésion a favorisé en fin de compte une collaboration plus efficiente pour la mise en œuvre d'activités SEA et nous a permis d'améliorer nos processus.
Quelle est votre expérience de l'adaptation du SEA pour collaborer avec des fournisseurs de services numériques pour l'agriculture?
Daniel Ticehurst
Monitoring > Evaluation Specialist freelanceDear Emily,
Many thanks for the interesting and thought-provoking blog.
In reading it, I also skimmed the documents to which you provided links. The report on the Digitalisation of African Agriculture by the Technical Centre for Agricultural and Rural Cooperation ACP-EU report on was particularly revealing. First my thoughts on this, then those on the blog itself.
1. The CTA Report on the Digitalisation of African Agriculture
The hope that that D4Ag could be a game changer in boosting productivity, profitability, and resilience to climate change. This assertion is riddled with many assumptions.
Two points:
First, potential jobs for 75% of unemployed African youth may be, what about how this transforms African agriculture and the lives and livelihoods of farmers? I question the significance of how the absence of digital solutions offers a significant reason as to why smallholders are disconnected from input and product markets. The absence of a solution rarely explains the underlying problem. I also worry about what Varoufakis calls Techno feudalism - the tyranny of big tech - and the effects of D4Ag going to scale, who the main beneficiaries are, and who pays the rent. A bit of a counter-culture, and pours water on the tech parade, but Yanis Varoufakis makes some intriguing points.
https://www.theguardian.com/world/2023/sep/24/yanis-varoufakis-technofeudalism-capitalism-ukraine-interview
Second, if the EU is serious about supporting the transformation of African Agriculture, it would:
The adverse effects of the above are arguably the main reasons explaining Africa’s food import bill, their continuation its projected increase.
In addition to the above comment on youth, technofeudalism, and the policy and regulatory constraints, I found the YouTube clip - Key Figures from the Report - to be cleverly presented but thin. For example, the projected 22% decline in yields on the continent, I submit, is not the main and most important consequence of climate change as much as the growing presence of D4Ag can resolve so stimulate increases in yield, let alone those in farmer incomes. Biodiversity loss is the main significant consequence. Why? Fallow areas have virtually disappeared in Africa. On average the rate of fallow is 1.2 percent with fallow having all but disappeared except for Tanzania (7,8%) and less so Uganda (5%). The result of African farmers more than doubled annual increases in cropped land from 1.7Mha in 2004- 2007 to just under 4Mha in 2016-2019. For the most part, production gains have been through an increase in area under cultivation; that is, as opposed to gains in productivity. This is in stark contrast to the rest of the world where production increases have been realised exclusively through increases in physical yields. This expansion of agricultural land has taken over natural ecosystems and has been the biggest driver of the destruction of Africa’s biodiversity. Defining success has to do more than claiming incremental increases in farmer yields and associated gains in smallholder incomes typically reported by many NGOs and donors that are typically used to justify the project investment. I don’t believe the issues facing Africa’s farmers can be resolved by projects anymore.
2. The blog itself.
A great problem statement: “But MEL is often imposed by donors to track the impact of their funding, and service providers often associate it with tedious reporting and struggle to see its value.”.
But isn’t it too easy to blame donors, and assume they know what information they need and when and what decision uncertainties they face? Consulting companies, the agents of donors, rarely negotiate information requirements. They see the donor as the ultimate client and lack a balanced accountability arrangement with those in need/those they are paid to support. Projects often resemble a traded commodity trapped in a client/agent relationship.
And the default measure of crop yields? The obsession, almost an indicator fetish, with using crop yields as a valid measure of success for agricultural projects, was called out back in the early 1990s’. See a blog I wrote on the pitfalls of having this as a valid and useful pursuit. Its use is a cockroach M&E policy measure: you think it was flushed away; yet keeps coming back!!! (Sorry)
It would be really interesting to learn more about the MEL approach you designed for the GSMA Innovation Fund for the Digitisation of Agricultural Value Chains – who did you read/talk to on developing the approach?
I like how you saw and pursued the need to re-brand M&E and adapt its tools to effectively collaborate with private sector partners. As part of a study on impact investing back in 2020, I stumbled across what I thought was a great example developed by Leapfrog, an impact investor in the financial services sector. Its approach to capturing customer experience and making services more service user/client-centric reminded me of the pioneering work of Robert Chambers and Lawrence Salmen in the development aid sector back in the 1980s. Feedback loops and treating farmers as the subject of conversations on issues that matter to them; as opposed to objects of a survey on matters that concern the donor. Leapfrog’s approach is documented here if you are interested. https://leapfroginvest.com/press-release/creating-impact-with-leapfrogs-cx-launchpad-program/
I completely agree that when designing MEL frameworks, it is useful to reflect on the value proposition of MEL; one that balances the information requirements among a “hierarchy of users” and doesn’t divorce itself from so is seen in isolation with other people and processes – financial control, learning, decision-making, and delivery. More often than one would hope or expect, the process starts on the wrong foot by developing a theory of change and/or a results framework and “slides downhill’ from there. But, I was left wondering why GMSA did this with the private sector. Why isn’t this done for all M&E frameworks?
Your approach involved running three quantitative surveys per service to gain smallholder feedback on services, which also helped you report on outputs and early outcomes KPIs such as farmer satisfaction with services and behaviour change in farming practices.
Why three - to capture seasonality and why quantitative? Won’t this many encourage fatigue to set in just as it appeared to be the case with farmers being swamped with SMS? And, concerning your last screenshot - High SMS reading rate and understanding of advice, but behaviour change challenges remain and the frequency of SMS is too high – how do the numbers inform answers from the enumerators in response to the two questions on the left-hand side? Did your survey design test the assumptions made explicit in the Impact Roadmaps or Project Blueprints as much as measure movements in the relative values of pre-defined indicators (of adoption, for example)?
Apologies for the ramble, yet I hope some of the above observations are helpful, and many thanks again.
Best wishes,
Daniel