Los servicios agrícolas digitales ofrecen una oportunidad excelente para mejorar el acceso de los pequeños agricultores a la información, los mercados y los servicios financieros. Sin embargo, ampliar estos servicios es complicado, ya que sus niveles de adopción y uso suelen ser bajos. En programas financiados por donantes, el seguimiento, evaluación y aprendizaje (SEA) puede ser fundamental para estudiar los desafíos que plantea la adopción de servicios para los pequeños agricultores, así como para identificar enseñanzas que contribuyan a que dichos servicios sean útiles para la población rural de bajos ingresos. Sin embargo, los donantes suelen imponer el SEA para realizar un seguimiento de los efectos generados gracias a su financiación, y los proveedores de servicios lo suelen asociar con informes tediosos y no logran percibir su valor. Por tanto, ¿cómo podemos renovar el SEA y adaptar sus herramientas para colaborar de manera eficaz con los asociados del sector privado?
Esta pregunta influyó de manera significativa en el enfoque de SEA que diseñé para el Fondo de innovación para la digitalización de las cadenas de valor agrícolas de la GSMA. Este fondo —financiado por la Oficina de Relaciones Exteriores, Commonwealth y Desarrollo (FCDO, por sus siglas en inglés)— proporcionó asistencia técnica y subvenciones basadas en resultados a seis empresas que desarrollan y amplían servicios agrícolas digitales. Para más información sobre el proyecto, la metodología de SEA y los resultados, por favor consulten el informe sobre la mejora de los medios de vida de los agricultores por medio de cadenas de valor agrícolas digitalizadas. Actualmente se está aplicando un enfoque similar en el Acelerador Agritech de la GSMA, financiado por la Sociedad Alemana de Cooperación Internacional (GIZ, por sus siglas en alemán). Proporciona asistencia técnica a diez empresas de tecnología agrícola que están ampliando servicios digitales que mejoran los medios de subsistencia de los agricultores y la resiliencia al cambio climático.
Este artículo ofrece las conclusiones principales del diseño de un enfoque de SEA atractivo y adaptado a los proveedores de servicios agrícolas digitales.
Renovar el SEA para alinearlo con el sector privado
Numerosas herramientas de SEA pueden tener una doble finalidad: satisfacer las necesidades de presentación de informes y aprendizaje y ser útiles para las empresas. Al diseñar marcos de SEA, es útil reflexionar sobre la propuesta de valor de este enfoque que se comunicará a los asociados del sector privado. Diferenciar entre objetivos internos —como la verificación de resultados o la presentación de informes a los donantes— y objetivos de aprendizaje para los asociados del sector privado contribuye a perfilar un SEA “renovado”. Alinear las preguntas de aprendizaje de este enfoque con la visión y objetivos de los proveedores de servicios es fundamental para generar una propuesta de valor clara. Por ejemplo, en lugar de hacer hincapié en el papel del SEA en el seguimiento de los resultados del proyecto y la presentación de informes a los donantes, optamos por plantearlo como asistencia técnica que les ayudaría a comprender mejor a sus usuarios y les permitiría mejorar y ampliar sus servicios. También se puede cambiar el nombre de las herramientas para alinearlas con el sector privado. Por ejemplo, nuestras teorías del cambio se han convertido en hojas de ruta para lograr los efectos o en planes de proyecto. Por último, la aceptación de los directivos y la colaboración con ellos, así como con quienes trabajan en la implementación —como los gestores de productos—, son fundamentales para garantizar que se actuará de conformidad con las conclusiones del SEA a fin de mejorar los modelos de negocio y hacer que los servicios estén más centrados en los agricultores.
El GSMA comunica a los asociados del sector privado la utilidad del SEA
Desarrollar herramientas de SEA que también sean útiles para los asociados del sector privado
Las competencias de SEA se ajustan bien a proyectos centrados en probar o ampliar nuevos servicios, y a entidades comerciales que pretenden atraer más inversión. Tanto los especialistas en SEA como los gestores de productos comerciales están familiarizados con el diseño de estrategias de impacto, el establecimiento de indicadores clave del rendimiento, la recopilación y el análisis de datos sobre servicios y la gestión reflexiva. Organizar talleres de evaluación de necesidades en materia de SEA al inicio de los proyectos es una buena forma de identificar las prioridades y posibles sinergias de los asociados del sector privado y la forma en que las herramientas de SEA pueden ayudarles a lograr sus objetivos estratégicos. Utilizamos la teoría del cambio para identificar posibles riesgos del plan de negocio de aquellos servicios que se pretendían ampliar y áreas de impacto alineadas con la inversión medioambiental, social y en gobernanza. Y es que se suele pedir a las empresas que demuestren el valor e impacto de sus servicios para recaudar fondos o para presentar informes en materia de sostenibilidad. En concreto, examinamos los solapamientos entre los indicadores claves del rendimiento y los datos medioambientales, sociales y de gobernanza de la agricultura, como los indicadores agrícolas de la herramienta de referencia IRIS+, desarrollada por la Red mundial de inversiones de impacto. En resumen, los indicadores claves del rendimiento y la recopilación de datos deben incluir información útil para las empresas en sus informes, sus actividades de comunicación y sus esfuerzos para atraer inversiones.
Herramientas AgriTech de la GSMA, centradas en su propuesta de valor para los asociados del sector privado
Recabar e intercambiar opiniones para aprovechar los resultados en la iteración de productos
Ampliar la difusión e incrementar los índices de actividad son objetivos comerciales fundamentales para los proveedores de servicios. El diseño centrado en las personas puede contribuir a abordar algunos de los desafíos que entraña el uso de los servicios por parte de los pequeños agricultores. Para ello, es necesario recabar la opinión de los usuarios de forma periódica, a fin de introducir cambios en los servicios o en la prestación de éstos. El SEA puede aprovechar la experiencia en investigación cualitativa y cuantitativa para proporcionar un análisis independiente de los desplazamientos de los usuarios e identificar puntos débiles de los pequeños agricultores y oportunidades de mejora de los servicios. Realizamos hasta tres encuestas cuantitativas por servicio para recabar la opinión de los pequeños agricultores sobre éstos. También nos ayudó a proporcionar información sobre los productos y los primeros resultados de los indicadores clave del rendimiento, como la satisfacción de los campesinos con los servicios y la modificación de las prácticas agrícolas. Contactar periódicamente con asociados del sector privado para informar e intercambiar ideas sobre los resultados de los datos recopilados por el SEA contribuye a articular las enseñanzas aprendidas e identificar medidas concretas que deben adoptarse como consecuencia de las opiniones de los usuarios. Por ejemplo, una de nuestras encuestas reveló que los agricultores que utilizaban los servicios de asesoramiento digital de nuestros asociados en tecnología agrícola de Indonesia y Pakistán no estaban al tanto del nuevo asesoramiento agrícola incorporado al servicio, o de nuevas funciones como previsiones meteorológicas. Compartimos los resultados con los tecnólogos agrícolas y los especialistas en experiencia de los usuarios y debatimos posibles formas de abordar este desafío. Como consecuencia, se incorporaron notificaciones automáticas en las aplicaciones móviles y se enviaron avisos por mensaje de texto para atraer a los usuarios a contenidos específicos.
Captura de pantalla de una sesión anónima de tormenta de ideas para identificar enseñanzas y mejoras de producto basándose en los datos del SEA
Renovar el SEA, desarrollar herramientas útiles para los asociados y recabar e intercambiar opiniones para garantizar resultados factibles contribuyeron en gran medida a mejorar la imagen del SEA entre los asociados del sector privado. Las opiniones recabadas durante los talleres revelaron que el SEA se percibe como un enfoque muy útil, y que la recopilación de datos da lugar a enseñanzas concretas. En última instancia, esta aceptación contribuyó a una colaboración más eficaz en la ejecución de las actividades de SEA y a una mejora de nuestros procesos.
¿Cuál es su experiencia en adaptar el SEA para trabajar con proveedores de servicios agrícolas digitales?
Daniel Ticehurst
Monitoring > Evaluation Specialist freelanceDear Emily,
Many thanks for the interesting and thought-provoking blog.
In reading it, I also skimmed the documents to which you provided links. The report on the Digitalisation of African Agriculture by the Technical Centre for Agricultural and Rural Cooperation ACP-EU report on was particularly revealing. First my thoughts on this, then those on the blog itself.
1. The CTA Report on the Digitalisation of African Agriculture
The hope that that D4Ag could be a game changer in boosting productivity, profitability, and resilience to climate change. This assertion is riddled with many assumptions.
Two points:
First, potential jobs for 75% of unemployed African youth may be, what about how this transforms African agriculture and the lives and livelihoods of farmers? I question the significance of how the absence of digital solutions offers a significant reason as to why smallholders are disconnected from input and product markets. The absence of a solution rarely explains the underlying problem. I also worry about what Varoufakis calls Techno feudalism - the tyranny of big tech - and the effects of D4Ag going to scale, who the main beneficiaries are, and who pays the rent. A bit of a counter-culture, and pours water on the tech parade, but Yanis Varoufakis makes some intriguing points.
https://www.theguardian.com/world/2023/sep/24/yanis-varoufakis-technofeudalism-capitalism-ukraine-interview
Second, if the EU is serious about supporting the transformation of African Agriculture, it would:
The adverse effects of the above are arguably the main reasons explaining Africa’s food import bill, their continuation its projected increase.
In addition to the above comment on youth, technofeudalism, and the policy and regulatory constraints, I found the YouTube clip - Key Figures from the Report - to be cleverly presented but thin. For example, the projected 22% decline in yields on the continent, I submit, is not the main and most important consequence of climate change as much as the growing presence of D4Ag can resolve so stimulate increases in yield, let alone those in farmer incomes. Biodiversity loss is the main significant consequence. Why? Fallow areas have virtually disappeared in Africa. On average the rate of fallow is 1.2 percent with fallow having all but disappeared except for Tanzania (7,8%) and less so Uganda (5%). The result of African farmers more than doubled annual increases in cropped land from 1.7Mha in 2004- 2007 to just under 4Mha in 2016-2019. For the most part, production gains have been through an increase in area under cultivation; that is, as opposed to gains in productivity. This is in stark contrast to the rest of the world where production increases have been realised exclusively through increases in physical yields. This expansion of agricultural land has taken over natural ecosystems and has been the biggest driver of the destruction of Africa’s biodiversity. Defining success has to do more than claiming incremental increases in farmer yields and associated gains in smallholder incomes typically reported by many NGOs and donors that are typically used to justify the project investment. I don’t believe the issues facing Africa’s farmers can be resolved by projects anymore.
2. The blog itself.
A great problem statement: “But MEL is often imposed by donors to track the impact of their funding, and service providers often associate it with tedious reporting and struggle to see its value.”.
But isn’t it too easy to blame donors, and assume they know what information they need and when and what decision uncertainties they face? Consulting companies, the agents of donors, rarely negotiate information requirements. They see the donor as the ultimate client and lack a balanced accountability arrangement with those in need/those they are paid to support. Projects often resemble a traded commodity trapped in a client/agent relationship.
And the default measure of crop yields? The obsession, almost an indicator fetish, with using crop yields as a valid measure of success for agricultural projects, was called out back in the early 1990s’. See a blog I wrote on the pitfalls of having this as a valid and useful pursuit. Its use is a cockroach M&E policy measure: you think it was flushed away; yet keeps coming back!!! (Sorry)
It would be really interesting to learn more about the MEL approach you designed for the GSMA Innovation Fund for the Digitisation of Agricultural Value Chains – who did you read/talk to on developing the approach?
I like how you saw and pursued the need to re-brand M&E and adapt its tools to effectively collaborate with private sector partners. As part of a study on impact investing back in 2020, I stumbled across what I thought was a great example developed by Leapfrog, an impact investor in the financial services sector. Its approach to capturing customer experience and making services more service user/client-centric reminded me of the pioneering work of Robert Chambers and Lawrence Salmen in the development aid sector back in the 1980s. Feedback loops and treating farmers as the subject of conversations on issues that matter to them; as opposed to objects of a survey on matters that concern the donor. Leapfrog’s approach is documented here if you are interested. https://leapfroginvest.com/press-release/creating-impact-with-leapfrogs-cx-launchpad-program/
I completely agree that when designing MEL frameworks, it is useful to reflect on the value proposition of MEL; one that balances the information requirements among a “hierarchy of users” and doesn’t divorce itself from so is seen in isolation with other people and processes – financial control, learning, decision-making, and delivery. More often than one would hope or expect, the process starts on the wrong foot by developing a theory of change and/or a results framework and “slides downhill’ from there. But, I was left wondering why GMSA did this with the private sector. Why isn’t this done for all M&E frameworks?
Your approach involved running three quantitative surveys per service to gain smallholder feedback on services, which also helped you report on outputs and early outcomes KPIs such as farmer satisfaction with services and behaviour change in farming practices.
Why three - to capture seasonality and why quantitative? Won’t this many encourage fatigue to set in just as it appeared to be the case with farmers being swamped with SMS? And, concerning your last screenshot - High SMS reading rate and understanding of advice, but behaviour change challenges remain and the frequency of SMS is too high – how do the numbers inform answers from the enumerators in response to the two questions on the left-hand side? Did your survey design test the assumptions made explicit in the Impact Roadmaps or Project Blueprints as much as measure movements in the relative values of pre-defined indicators (of adoption, for example)?
Apologies for the ramble, yet I hope some of the above observations are helpful, and many thanks again.
Best wishes,
Daniel