El objetivo principal de la síntesis de evaluación es promover el aprendizaje y la reflexión colectiva. Una síntesis es un producto de conocimiento y un modo de consolidar y compartir los conocimientos adquiridos a fin de reforzar las enseñanzas y los ciclos de aprendizaje de las evaluaciones.
Las síntesis no son una herramienta novedosa para la comunidad de evaluación, pero su uso ha aumentado en los años. En parte, esto se debe a la capacidad reconocida de una buena síntesis como medio eficaz para extraer conocimientos de las evaluaciones individuales: una información valiosa que se suele desaprovechar cuando finaliza el proceso de evaluación.
Además, consolidar los conocimientos (ya sean técnicos, operativos o institucionales) puede fundamentar la toma de decisiones institucionales de forma eficaz en relación con su coste e influir en la programación, las políticas y las estrategias. Asimismo, puede ayudar a llegar a un público más amplio — más allá de las partes interesadas internas— y contribuir al conocimiento global sobre un tema determinado.
En el mundo de la evaluación, el término “síntesis” se utiliza de maneras diferentes y puede incluir diversos productos: revisiones sistemáticas, meta-análisis, revisiones temáticas y evaluaciones rápidas de evidencias, por citar algunos ejemplos. No existe una definición universal de síntesis de evaluación. Cada organización adapta el concepto a sus propias necesidades y políticas.
En la Oficina de Evaluación de la FAO, el creciente uso de las síntesis de evaluación se debe al aumento del número de evaluaciones realizadas y a la escasa utilización de los conocimientos generados.
Para fomentar un uso más sistemático de las síntesis de evaluación, la Oficina de Evaluación (OED) de la Organización de las Naciones Unidas para la Alimentación y Agricultura (FAO) ha elaborado recientemente una nota de orientación (enlace) en la que proporciona una definición amplia de las síntesis de evaluación, como una forma de “capturar los conocimientos y lecciones aprendidas sobre un determinado tema de diferentes evaluaciones, a través de evidencias recopiladas y condensadas, con el fin de extraer conclusiones —y en ocasiones recomendaciones— más informadas sobre un asunto o cuestión específicos”[1]. Las síntesis de evaluación difieren de las síntesis más amplias de evidencias, que suelen implicar numerosas fuentes, incluida la evaluación.
Las síntesis de evaluación regionales de la OED tienen como objetivo sintetizar los resultados y las lecciones aprendidas de evaluaciones sobre temas de especial relevancia para las regiones de la FAO. Gracias a estas síntesis, en 2020 la evaluación se ha incluido por primera vez en la agenda de las Conferencias Regionales de la FAO, un órgano de gobierno de la Organización que contribuye a elaborar su programa y presupuesto.
El objetivo principal de las síntesis es documentar los patrones identificados en las diferentes evaluaciones de forma sistemática, a fin de fundamentar la toma de decisiones regionales sobre la programación y las prioridades. Un objetivo secundario de estas síntesis es aumentar el uso de los informes de evaluación de la FAO a nivel regional y generar demanda de evaluaciones centradas en las regiones. Con estas síntesis, la OED llega también a aquellos miembros de la FAO que, de otro modo, tendrían acceso limitado a las evaluaciones. Basándonos en esta experiencia y en los preparativos para nuestra nota de orientación, podemos extraer algunas lecciones y buenas prácticas para futuras síntesis.
Una síntesis puede ser una tarea compleja. Una síntesis de evaluación suele estar basada en múltiples fuentes de datos y métodos mixtos de análisis, validación y comprobación de evidencias.
- La calidad de las evaluaciones es fundamental
Huelga decir que la calidad de una síntesis empieza por la accesibilidad y la calidad de las evaluaciones en cuestión (relevancia, evidencias actualizadas, validez, fiabilidad y distribución geográfica de los resultados). En este sentido, disponer de una buena base de datos de informes de evaluación —etiquetados correctamente etiquetados— facilita la valoración rápida de las evidencias disponibles de cualquier síntesis. En caso de existir, un sistema de evaluación post-hoc facilita la selección de las mejores evaluaciones. En caso contrario, un primer paso en el proceso de síntesis será valorar la calidad de las evaluaciones individuales (una metaevaluación).
- Herramientas para facilitar el trabajo de síntesis
El uso de las síntesis de evaluación se ha visto facilitado en gran medida por las herramientas innovadoras utilizadas en las ciencias sociales para analizar grandes cantidades de datos cualitativos (p. ej. Nvivo). Estas herramientas forman parte también de cualquier estrategia para mejorar el aprendizaje institucional de las evaluaciones.
- Comprobación y validación
Para que las síntesis de evaluación sean algo más que la suma de sus partes, no pueden tratarse de meros estudios teóricos. Deben comprobar los datos con fuentes secundarias, consultar documentos externos a los informes de evaluación y/o validar y complementar la información realizando entrevistas adicionales o recopilando nuevos datos.
- Implicar a las partes interesadas
Como en cualquier evaluación, se debe consultar a las partes interesadas desde el principio y a lo largo de todo el proceso. Esto confirmará las prioridades, garantizará que las expectativas son realistas y permitirá a las partes interesadas participar en la evaluación cuando se disponga de resultados preliminares consolidados. También será útil a la hora de difundir y compartir los resultados.
- Evaluación de la evaluabilidad
Tal y como recomendamos en nuestra nota de orientación, antes de realizar una síntesis es precio llevar a cabo un análisis de evaluabilidad adecuado que tenga en cuenta estos aspectos. Es especialmente recomendable evaluar posibles compensaciones recíprocas, como el tiempo y la relación coste-eficacia frente a la utilidad de una síntesis de evaluación u otros tipos de evaluación posiblemente menos costosos.