Interés creciente en el SEA
El seguimiento, la evaluación y el aprendizaje (SEA) han cobrado impulso recientemente en el contexto de los proyectos de innovación agrícola y desarrollo.
El SEA proporciona un marco y unas herramientas útiles para acompañar la ejecución de intervenciones específicas, con vistas a mejorar la sostenibilidad agrícola.
El sistema de SEA fomenta la evaluación y el aprendizaje continuos, permitiendo así la gestión adaptativa de proyectos transformadores. Requiere un esfuerzo sistemático para medir el progreso de la ejecución y potenciar al mismo tiempo el aprendizaje continuo y en tiempo real de todas las partes implicadas, ya sean agricultores y otros habitantes de zonas rurales, representantes de la sociedad civil, investigadores, responsables de las políticas o profesionales de la evaluación. Se basa en una variedad de herramientas, enfoques e indicadores para evaluar los resultados, integrar las enseñanzas y mejorar la eficacia. De este modo, contribuye a mejorar los resultados de los proyectos[1].
Sin embargo, la práctica de SEA es una prioridad menor para quienes encargan las evaluaciones: suelen dar preferencia a otros requisitos típicos como los informes de evaluación, en consonancia con las teorías del cambio y el marco lógico. Crear una cultura de SEA es un proceso y, para ello, es importante movilizar la capacidad necesaria.
Las experiencias de maximización de la capacidad de SEA se debatieron en un seminario web reciente organizado conjuntamente por EvalForward y el proyecto LIAISON.
¿Qué ha revelado el proyecto LIAISON sobre la evaluación de la innovación agrícola?
El proyecto LIAISON (financiado por el programa Horizonte 2020 de la Unión Europea (UE) entre mayo de 2018 y octubre de 2021) reunió a académicos y profesionales de 15 países europeos con el objetivo de aprovechar el potencial del trabajo en asociación para la innovación en la agricultura, la silvicultura y las empresas rurales. Una de sus líneas de trabajo consistió en probar y validar enfoques para evaluar la innovación agrícola en entornos con múltiples actores.
Con el equipo de proyecto participé en el desarrollo de un conjunto de herramientas que, junto con otros proyectos y redes, servirían como “estudios de casos”. Los principios básicos del trabajo de evaluación del proyecto LIAISON fueron la práctica de la evaluación del desarrollo, el diseño conjunto participativo y el aprendizaje. Examinamos herramientas cuantitativas y cualitativas de uso generalizado y otras menos conocidas. Analizamos índices de medición de la innovación, como los desarrollados por la UE en el marco de seguimiento y evaluación (SyE) de la política agrícola común, los de la Organización para la Cooperación y el Desarrollo Económicos, los Indicadores de Ciencia y Tecnología Agrícola (ASTI) del Instituto Internacional de Investigación sobre Políticas Alimentarias (IFPRI) y los indicadores de resultados científicos (cienciometría y altmetría). Sin embargo, observamos que estos índices no se centraban lo suficiente en la interactividad de la innovación y medían ésta desde la perspectiva de los donantes y no desde la de los beneficiarios de los proyectos.
La evaluación es necesaria, pero no se le da prioridad
Las evidencias recopiladas durante el proyecto LIAISON pusieron de relieve el papel de la evaluación en la optimización de la innovación agrícola. Entre otras cosas, los asociados en los estudios de casos observaron la necesidad de adoptar enfoques más participativos y utilizar el SEA. Los miembros del consorcio del proyecto LIAISON se encargaron de diferentes estudios de casos de proyectos de innovación agrícola nacional, regional e internacional, la mayoría de ellos con financiación de la UE. Como parte de nuestro enfoque, nos centramos en las necesidades de evaluación a nivel de proyecto, en lugar de a nivel de donante.
La mayoría de los proyectos en los que trabajamos no disponían de recursos internos que pudieran destinarse a un proceso de evaluación organizado. Los proyectos carecían de capacidad financiera o de otro tipo (p. ej. tiempo y personal), pero tenían múltiples necesidades en materia de evaluación. Además de medir el progreso del proyecto, los miembros del consorcio pretendían examinar la colaboración del equipo de proyecto con las partes interesadas externas (es decir, la interactividad). Las evaluaciones formales no suelen prestar atención a esta interacción, o los proyectos suelen carecer completamente de ésta.
Al mismo tiempo, nos dimos cuenta de que la interactividad adoptaba formas diferentes en cada proyecto. Por ejemplo, podía estar orientada específicamente a la realidad virtual o a la interacción presencial. Los proyectos acogieron con satisfacción esta labor de evaluación voluntaria y confirmaron su utilidad para optimizar la ejecución de los proyectos en curso, extraer enseñanzas de los proyectos completados y constituir una base sólida para actividades futuras Las redes de partes interesadas y los temas de los distintos proyectos eran diferentes, por lo que hubo que adaptar los indicadores a sus entornos específicos. En los contextos complejos en los que se desarrollaron los proyectos, se consideró que el SEA era crucial para mejorar su calidad en cada una de las etapas de sus respectivos ciclos de vida.
Cómo desarrollar las capacidades de SEA con recursos limitados
Al examinar los estudios de casos, nos enfrentamos a la limitación de recursos disponibles en cada uno de los proyectos. Para subsanar esta carencia y potenciar la capacidad de los proyectos, elaboramos un sistema de desarrollo de la capacidad en cascada. Los evaluadores experimentados capacitaron a los investigadores del proyecto LIAISON, a los proveedores de servicios de asesoramiento y a los asociados de organizaciones no gubernamentales (evaluadores no profesionales) en los fundamentos en materia de SyE. Quienes participaron en la formación se mantuvieron en contacto con sus respectivos asociados en los estudios de casos y desarrollaron conjuntamente los principales componentes del sistema de SEA. En poco tiempo (no más de cinco días laborables), los equipos de cada uno de los estudios de casos pudieron diseñar conjuntamente su plan de evaluación, incluidos elementos básicos como el alcance, las preguntas, los indicadores y los métodos de recopilación de datos.
Los evaluadores experimentados proporcionaron también asesoramiento para aclarar cualquier cuestión, en especial en relación con la reducción del alcance de la evaluación y el número de indicadores implicados, que resultó ser lo más complicado. Habitualmente, los proyectos de los estudios de casos identificaron más preguntas y necesidades de evaluación de las que el equipo pudo satisfacer con sus propios recursos. Por ejemplo, un proyecto que se ocupaba del desarrollo de la cadena de valor y otro centrado en la agroecología pretendían poner el foco en sus resultados, específicamente en el ámbito agrícola en cuestión. Por tanto, hubo que simplificar la evaluación general para optimizar las capacidades existentes.
Al mismo tiempo, aprendimos que no existe un enfoque universal —en términos de metodología, preguntas de evaluación o indicadores— para evaluar la innovación agrícola. La naturaleza de estos proyectos es también muy interactiva, por lo que los enfoques estándar —como la teoría del cambio y el marco lógico— pueden resultar insuficientes para medir los cambios que generan.
Entonces, ¿podemos realizar evaluaciones sin recurrir a la teoría del cambio? La interactividad de las intervenciones exige indicadores específicos (que elaboramos con nuestros estudios de casos) y alternativas a la teoría del cambio, como enfoques sistémicos, análisis de redes sociales o análisis participativos de vías de impacto. Para subsanar esta carencia, probamos y validamos diferentes herramientas y enfoques, un resumen de los cuales se puede encontrar en el conjunto de herramientas del proyecto LIAISON[2]. Contribuyeron a representar las realidades complejas de los proyectos analizados y apoyar el proceso de aprendizaje en las distintas fases de éstos. Tanto las herramientas cualitativas como las cuantitativas fueron útiles para observar los cambios generados por los proyectos, especialmente al centrarse en las interacciones entre los diferentes actores. Asimismo, elaboramos un conjunto de “indicadores de interactividad” para cada uno de los casos de los estudios.
El papel de los evaluadores experimentados en el apoyo a las prácticas de SEA
Una de las conclusiones más importantes del trabajo de evaluación del proyecto LIAISON es que los evaluadores no profesionales pueden desempeñar un papel muy activo en el SEA. Aún con recursos limitados, restricciones de tiempo y las reticencias iniciales de algunos miembros del equipo, logramos desarrollar una capacidad de evaluación básica y fomentar un cierto entusiasmo.
Comprobamos el gran potencial y atractivo del SEA como forma de impulsar la evaluación y ejecución de los proyectos. Quienes trabajan en ellos —en especial quienes aspiran a lograr un cambio positivo— suelen tener capacidad e interés en reflexionar sobre lo que está sucediendo, pero a veces carecen de las herramientas necesarias. Los evaluadores experimentados podrían desempeñar un papel más importante a la hora de asesorar y orientar a otros miembros de los equipos de los proyectos, ya que suelen ser capaces de desarrollar el pensamiento evaluativo y, de hecho, lo disfrutan.
En los próximos meses habrá más herramientas disponibles en el sitio web del proyecto LIAISON: https://liaison2020.eu/your-material/?language=spanish.