A los evaluadores se nos anima con frecuencia a colaborar en las fases iniciales de proyectos y programas (p. ej. para establecer bases de referencia).
El Instrumento para la evaluación del desempeño agroecológico (TAPE) es una herramienta para medir el desempeño que nos permite analizar la transición de los sistemas agrícolas hacia prácticas agroecológicas. Este artículo pretende mostrar cómo el TAPE constituye una oportunidad para los profesionales del seguimiento y la evaluación (SyE) y los directores de programas y proyectos, y puede contribuir a mejorar la evaluación de iniciativas agroecológicas y otras actividades relacionadas.
¿Cómo funciona el TAPE?
La agroecología es un enfoque global e integrado para el diseño y la gestión de sistemas agrícolas y alimentarios sostenibles. Aplica conceptos y principios ecológicos y sociales y presenta un marco general para orientar las políticas públicas hacia una agricultura y unos sistemas alimentarios sostenibles. Los 10 elementos de la agroecología son los siguientes: reciclaje; gobernanza responsable; sinergias; diversidad; creación conjunta e intercambio de conocimientos; resiliencia; valores humanos y sociales; cultura y tradiciones alimentarias; eficiencia; y economía circular y solidaria.
El TAPE se puede utilizar en los siguientes pasos —a escala territorial y a nivel de explotación agrícola/hogar— para recopilar información sobre la producción y los sistemas alimentarios:
En el paso 1 se caracteriza la sostenibilidad general de una explotación agrícola o un hogar utilizando los 10 elementos de la agroecología. A continuación, se recopilan datos cuantificables para el paso 2 en relación con 10 criterios básicos de desempeño. Éste se evalúa utilizando un sistema tipo “semáforo” con tres niveles de sostenibilidad —deseable, aceptable e insostenible— para cada subindicador.
El último paso es un análisis participativo de los resultados a nivel de explotación agrícola, hogar o comunidad/territorio. Se examina el desempeño multidimensional (paso 2) en vista del nivel de transición a la agroecología (paso 1) y el contexto y el entorno propicio (paso 0). Por tanto, el TAPE utiliza un enfoque metodológico participativo y bien definido para obtener sus datos y clasificaciones. Y establece fuertes vínculos entre el nivel de explotación agrícola/hogar y el nivel comunitario/territorial, con consecuencias para la gobernanza.
¿Cómo podemos aplicar el TAPE a las evaluaciones?
El TAPE puede proporcionar información valiosa y diversa para las evaluaciones. Lo más relevante para los evaluadores son los resultados del análisis participativo del paso 3. Se pueden utilizar como base de referencia para responder —o incluso formular— diversas preguntas de evaluación. O para contribuir a determinar diferentes intervenciones del proyecto. El TAPE está relacionado también con el enfoque de recolección de resultados en la evaluación, ya que permite a los evaluadores identificar y valorar de forma fiable los resultados de una intervención en entornos complejos.
Asimismo, el TAPE tiene otros usos:
- Se puede utilizar para diagnosticar y comparar el desempeño de diferentes sistemas agrícolas a lo largo del tiempo, a nivel de explotación agrícola y territorial. Por tanto, puede contribuir a reorientar la inversión pública hacia sistemas agrícolas y alimentarios más sostenibles.
- En evaluaciones asociadas a los Objetivos de Desarrollo Sostenible (ODS) puede proporcionar información para evaluar los logros y abordar la agricultura sostenible en el contexto de los ODS. Esto incluye indicadores de los ODS como el 2.4.1 (agricultura sostenible) y el 1.4.2 (derechos de tenencia), así como el subindicador 8 del indicador 2.4.1 (biodiversidad). El TAPE se ha examinado ya en la evaluación de la contribución de la Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO) al ODS 2[1], y ha servido también para evaluar el indicador 2.4.1 de los ODS.
- En evaluaciones de intervenciones relacionadas con el cambio climático en la agricultura se puede utilizar directamente su criterio avanzado de “mitigación del cambio climático”.
Un ejemplo
Supongamos que, en un proyecto determinado, una evaluación del TAPE determina que los jóvenes tienen un acceso muy limitado al empleo, la capacitación y la educación, y prefieren migrar a zonas no agrícolas. Este resultado es importante, ya que advierte a los evaluadores de la necesidad de considerar las cuestiones relacionadas con los jóvenes en la evaluación del proyecto. Siempre y cuando se haya realizado de forma adecuada y haya examinado las intervenciones principales, una evaluación del TAPE puede ayudar a los evaluadores a conocer la compleja coyuntura de un proyecto. Del mismo modo, la evaluación del TAPE del “empoderamiento de las mujeres" puede proporcionar una base de referencia útil para formular preguntas de evaluación sobre cuestiones de género.
Asimismo, los evaluadores pueden utilizar el TAPE directamente como fuente de datos secundaria para responder a las preguntas de la evaluación. Por ejemplo, el criterio de “productividad” puede aportar datos para responder a las preguntas de evaluación sobre eficacia, siempre que la evaluación del TAPE se haya realizado también para valorar cómo ha cambiado la productividad durante la intervención en cuestión.
Además, el TAPE se puede utilizar a lo largo del tiempo para recopilar datos de referencia, ayudar a definir intervenciones del proyecto en función de la información disponible, y reunir datos a mitad y final de período para medir el cambio, la transición y la eficacia del proyecto.
Cuando el TAPE está integrado en el diseño de un proyecto/programa con una metodología de muestreo y un espacio de inferencia suficientes, su uso resulta particularmente provechoso. Si se emplea únicamente para una serie de explotaciones agrícolas, comunidades y/o territorios de un proyecto/programa (es decir, cuando no está integrado completamente en éstos), las evaluaciones se pueden utilizar como estudios de casos o muestras. Aunque en estos casos resulta necesario que los evaluadores consideren primero el posible sesgo de la elección o la falta de representatividad.
Un caso práctico
En Mozambique, el TAPE se ha utilizado en la evaluación de los resultados de un proyecto del Fondo para el Medio Ambiente Mundial (FMAM). Concluyó que los beneficiarios pueden avanzar en su transición hacia la agroecología en los 10 elementos, en particular en lo que respecta a la creación conjunta y al intercambio de conocimientos sobre prácticas agroecológicas. En esta evaluación se incluyeron hipótesis de contraste (hogares no participantes) para evaluar la diferencia que ha supuesto el proyecto.
----
Nos gustaría invitar a la comunidad de EvalForward a compartir sus experiencias en la evaluación de la sostenibilidad ambiental y socioeconómica de programas agrícolas en la sección de comentarios que figura a continuación.
¿Creen que el TAPE podría ser útil para el seguimiento y evaluación de sus proyectos y programas?
Agradecimientos
La autora desea agradecer al equipo del TAPE en la FAO (Abram Bicksler, Anne Mottet y Dario Lucantoni) la documentación proporcionada y sus aportaciones y colaboración para este artículo. Carsten Schwensen (Nordic Consulting Group) compartió también ideas valiosas para conceptualizar de qué manera podría contribuir el TAPE a las evaluaciones de proyectos y programas.
La información de la sección “¿Cómo funciona el TAPE?” se ha obtenido de la documentación y directrices sobre el TAPE.
Victor Maurice Kommerell
Research Programs Manager CIMMYT / CGIARFYI. CIMMYT will perform an ad-hoc internal review about how CIMMYT scientists can use TAPE both at the outset (proposal/project design) and at the end (MEL; impact assessment). In a recent meeting, we agreed to consider integration/complementarity with the (USAID) Sustainable Intensification Framework, because there are clearly positive overlaps. For example, broad stakeholder involvement and participatory project design and implementation is in fact neither SI nor AE-specific, it just makes good change management sense and ultimately depends on budget available and donor preferences. Our main intended outcome is to have CIMMYT scientists use TAPE-relevant methods and tools at different stages in the project lifecycle. That should make subsequent MEL easier.
Seda Kojoyan
UN FAODear Monir Wahas, thank you - indeed I also thought about mapping the TAPE criteria against the DAC criteria. For instance, the TAPE criteria on productivity to the standard evaluation criteria on effectiveness and impact; the TAPE criteria on income, added value and resilience to evaluation criteria of sustainability (economic). However, in consultation with evaluation colleagues, we thought a good first step would be to present the TAPE without this mapping, to avoid confusion (also the placement of some of the criteria is debatable).
Dario Lucantoni
FAO, ItalyI would like to inform you that two reports on the use of TAPE in Lesotho and Argentina have just been published by FAO, please find the links below:
- Report on the use of the Tool for Agroecology Performance Evaluation (TAPE) in Lesotho in the context of the Restoration of Landscape and Livelihoods Project (ROLL). Results and Analysis
- Informe sobre el uso del Instrumento para la Evaluación del Desempeño de la Agroecología (TAPE) en Argentina. Resultados y discusión desde el Área Metropolitana de Rosario
Monir A Wahas
Founder Inspiring Vision for ConsultingI suggest to compare TAPE and DAC, for more integration and testing
Kebba Ngumbo Sima
Theme Director MERC Sasakawa Africa AssociationLooks quite useful but yet to be fully tested. Keep sharing such valuable tools for M&E work.
Cheers