En qualité d'évaluateurs, nous sommes souvent encouragés à collaborer tôt avec les projets et programmes afin, par exemple, d'établir la ligne de référence.
L'Outil pour l'évaluation de la performance de l'agroécologie (TAPE, Tool for Agroecology Performance Evaluation) est un outil de mesure de la performance qui nous permet d'analyser la transition des systèmes agricoles vers des pratiques agroécologiques. Cet article vise à montrer l'opportunité que représente TAPE pour les praticiens du suivi et évaluation ainsi que pour les responsables de programme et de projet et comment il peut contribuer à améliorer l'évaluation des initiatives agroécologiques et connexes
Comment fonctionne TAPE
L'agroécologie est une approche holistique et intégrée de conception et de gestion de systèmes agricoles et alimentaires durables. Elle applique des concepts et principes écologiques et sociaux et présente un cadre général permettant d'orienter les politiques publiques vers des systèmes agricoles et alimentaires durables. Les dix éléments de l'agroécologie sont les suivants: recyclage; gouvernance responsable; synergie; diversité; création conjointe et partage de connaissances; résilience; valeurs humaines et sociales; traditions culturelles et alimentaires; efficience; économie circulaire et solidaire.
L'outil TAPE peut être utilisé lors des étapes suivantes, à la fois à l'échelle territoriale et à celle des exploitations/ménages, pour enregistrer des informations au niveau de la production et des systèmes alimentaires:
L'étape 1 caractérise la durabilité générale de l'exploitation ou du ménage en recourant aux 10 éléments de l'agroécologie. Les données quantifiables pour l'étape 2 sont ensuite recueillies selon 10 critères principaux de performance et la performance est évaluée à travers un système de "feux tricolores", qui prévoit trois niveaux de durabilité – souhaitable, acceptable et durable ‒ pour chaque sous-indicateur.
La dernière étape de TAPE est une analyse participative des résultats (au niveau de l'exploitation, du ménage ou de la communauté/du territoire), pour laquelle la performance multidimensionnelle (étape 2) est examinée à la lumière du niveau de transition vers l'agroécologie (étape 1) et du contexte et de l'environnement favorable (étape 0). Ainsi, TAPE adopte une approche participative et méthodologique précise afin d'obtenir ses données et ses classements et établit des liens forts entre l'exploitation/le ménage et les niveaux de la communauté/du territoire, avec des implications en termes de gouvernance.
Comment pouvons-nous appliquer TAPE aux évaluations?
TAPE est capable de fournir des informations précieuses et diverses pouvant alimenter les évaluations. La part la plus importante de TAPE pour les évaluateurs concernerait l'emploi des résultats de l'analyse participative menée lors de l'étape 3. Ces résultats peuvent être utilisés comme ligne de référence pour évaluer les différentes questions d'évaluation, contribuer à identifier les interventions de projet ou même permettre avant tout d'élaborer les questions. Elle est également liée à l'approche de récolte des réalisations en évaluation, permettant aux évaluateurs d'identifier et d'évaluer de manière fiable les réalisations de l'intervention dans des configurations complexes.
TAPE peut également être utilisé:
- pour diagnostiquer et comparer la performance de différents systèmes agricoles sur la durée, au niveau de l'exploitation et du territoire. Il peut ainsi soutenir la réorientation de l'investissement public vers des systèmes agricoles et alimentaires plus durables.
- dans des évaluations liées aux objectifs de développement durables (ODD), pour fournir des informations permettant d'évaluer les réalisations accomplies et aborder l'agriculture durable dans le contexte des ODD. Cela implique des indicateurs portant sur les ODD tels que 2.4.1 (agriculture durable), 1.4.2 (droits fonciers) et 8.6.1 (biodiversité). TAPE a déjà été évalué et examiné dans l'évaluation de la contribution de l'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) à l'ODD 2[1] et a apporté une contribution à l'évaluation de l'ODD 2.4.1.
- pour évaluer les interventions en lien avec le changement climatique en agriculture, en utilisant directement des critères avancés de TAPE relatifs à l'«atténuation des changements climatiques».
Illustration
Ceci étant, dans un projet donné, une évaluation TAPE a montré que les jeunes avaient un accès très limité aux emplois, à la formation et à l'éducation et a favorisé l'émigration des zones de main d'œuvre agricole. L'observation de ce résultat peut faire comprendre aux évaluateurs qu'ils doivent prêter attention aux problèmes relatifs aux jeunes dans les évaluations de projet. Recourir à une évaluation TAPE, sous réserve qu'elle soit bien faite, complète et représentative des interventions du projet, peut aider les évaluateurs à comprendre la situation complexe qui est devant eux. De manière similaire, l'évaluation de l'autonomisation des femmes" peut fournir une ligne de référence utile pour élaborer les questions relatives au genre.
Les évaluateurs peuvent également utiliser TAPE directement comme source de données secondaires pour répondre aux questions d'évaluation. Le critère relatif à la "productivité" peut par exemple fournir des éléments permettant de répondre aux questions sur l'efficacité, à condition que l'évaluation TAPE ait aussi été menée pour évaluer comment la productivité a évolué durant l'intervention en question.
TAPE peut également être utilisé de manière longitudinale pour la collecte des données de référence, afin de contribuer à identifier des interventions de projet basées sur des données, ainsi que pour la collecte des données à mi-parcours et à l'achèvement pour mesurer les changements, la transition et l'efficacité du projet.
Le cas idéal d'utilisation de TAPE dans une évaluation de projet/programme est celui où il est déjà intégré dans la conception du projet ou du programme avec une méthodologie d'échantillonnage et un espace d'inférence suffisants. Dans les cas où TAPE est conduit uniquement dans certaines exploitations, communautés et/ou territoires d'un projet ou programme faisant l'objet d'une évaluation (donc sans être complètement intégré dans le projet/programme lui-même), ces derniers peuvent être utilisés comme des études de cas ou échantillons. Dans ces cas, les évaluateurs doivent toutetois considérer en premier lieu les problèmes liés aux biais d'auto-sélection ou à un échantillon non représentatif.
Cas pratique
Au Mozambique, TAPE a été utilisé dans l'évaluation des résultats du projet du Fonds pour l'environnement mondial. TAPE a montré que les bénéficiaires du projet pouvaient progresser dans leur transition vers l'agroécologie pour l'ensemble des 10 éléments, en particulier sur les aspects de co-création et de partage des connaissances sur les pratiques agroécologiques. Dans cette évaluation, des groupes contrefactuels (foyers non participants) ont été ajoutés pour évaluer la différence réalisée grâce au projet.
----
Nous souhaitons inviter la communauté Evalforward à partager son expérience d'évaluation de la durabilité (environnementale et socio-économique) des programmes agricoles, à travers la section dédiée aux commentaires ci-dessous.
Pensez-vous que l'outil TAPE peut être utile pour le suivi et évaluation de vos projets et programmes?
Remerciements
L'auteur remercie l'équipe en charge de TAPE à la FAO - Abram Bicksler, Anne Mottet et Dario Lucantoni pour leur contribution, documentation et collaboration pour cet article. Carsten Schwensen du Nordic Consulting Group a également apporté de précieuses observations pour réfléchir à la manière dont TAPE pourrait profiter aux évaluations de projet et programme.
Les informations fournies dans la section relative au fonctionnement de TAPE sont issues de la la documentation et des directives TAPE.
Victor Maurice Kommerell
Research Programs Manager CIMMYT / CGIARFYI. CIMMYT will perform an ad-hoc internal review about how CIMMYT scientists can use TAPE both at the outset (proposal/project design) and at the end (MEL; impact assessment). In a recent meeting, we agreed to consider integration/complementarity with the (USAID) Sustainable Intensification Framework, because there are clearly positive overlaps. For example, broad stakeholder involvement and participatory project design and implementation is in fact neither SI nor AE-specific, it just makes good change management sense and ultimately depends on budget available and donor preferences. Our main intended outcome is to have CIMMYT scientists use TAPE-relevant methods and tools at different stages in the project lifecycle. That should make subsequent MEL easier.
Seda Kojoyan
UN FAODear Monir Wahas, thank you - indeed I also thought about mapping the TAPE criteria against the DAC criteria. For instance, the TAPE criteria on productivity to the standard evaluation criteria on effectiveness and impact; the TAPE criteria on income, added value and resilience to evaluation criteria of sustainability (economic). However, in consultation with evaluation colleagues, we thought a good first step would be to present the TAPE without this mapping, to avoid confusion (also the placement of some of the criteria is debatable).
Dario Lucantoni
FAO, ItalyI would like to inform you that two reports on the use of TAPE in Lesotho and Argentina have just been published by FAO, please find the links below:
- Report on the use of the Tool for Agroecology Performance Evaluation (TAPE) in Lesotho in the context of the Restoration of Landscape and Livelihoods Project (ROLL). Results and Analysis
- Informe sobre el uso del Instrumento para la Evaluación del Desempeño de la Agroecología (TAPE) en Argentina. Resultados y discusión desde el Área Metropolitana de Rosario
Monir A Wahas
Founder Inspiring Vision for ConsultingI suggest to compare TAPE and DAC, for more integration and testing
Kebba Ngumbo Sima
Theme Director MERC Sasakawa Africa AssociationLooks quite useful but yet to be fully tested. Keep sharing such valuable tools for M&E work.
Cheers