Sus conocimientos, experiencias y reflexiones sobre este tema son muy esclarecedores y útiles. ¡Muchas gracias por compartirlos! A continuación, enumero algunas enseñanzas que he extraído hasta ahora de esta discusión. Cualquier contribución/reflexión adicional es más que bienvenida. Recuerden también cumplimentar la encuesta (en inglés).
Un informe de evaluación debe ser breve
Un informe de evaluación demasiado extenso aburre al lector/usuario, que no suele estar interesado en consultar información que ya conoce ni dedicar su tiempo a buscar aquélla que verdaderamente le es útil o novedosa. Muy poca gente —incluidos los usuarios de las evaluaciones— dedicaría tiempo a leer informes de evaluación muy largos. ¡De hecho, es poco probable que un evaluador lea uno de sus propios informes (una vez completado)! Algunas recomendaciones:
Redactar un resumen ejecutivo de menos de 4 páginas (2 hojas a doble cara), destacando los resultados y conclusiones y las recomendaciones basadas en éstos.
Elaborar un resumen de menos de 10 páginas. Incluir cuadros y diagramas y enumerar los resultados de forma esquemática (viñetas).
El informe completo debería tener una extensión de unas 50 páginas.
Destacar los cambios generados (o la ausencia de éstos), señalar los resultados contra natura y poner de relieve conocimientos sobre los indicadores o las variables de interés.
Más allá del informe de evaluación: empleo de elementos visuales
Mientras que las evaluaciones se perciban principalmente como requisitos burocráticos con sus correspondientes informes, perderemos grandes oportunidades de mejorar el proceso de aprendizaje. Asumir que la redacción de informes es la manera óptima —y única— de captar y transmitir evidencias y conocimientos es una verdadera lástima. Comunicar los resultados de las evaluaciones de forma concisa, comprensible y significativa es todo un desafío. Necesitamos pensar de forma textual, pero también de manera visual. Debemos resumir los resultados de forma más gráfica, utilizando figuras, ilustraciones y elementos multimedia. Por ejemplo, el Programa Mundial de Alimentos (PMA) de las Naciones Unidas está combinando —en la región de Asia y el Pacífico— la evaluación con la facilitación visual por medio de una metodología denominada EvaluVision. Implicar a personas que pueden tener grandes capacidades de aprendizaje, análisis y comunicación —pero que no son necesariamente expertas en la redacción de informes— es conveniente.
Sin embargo, los elementos visuales se suelen valorar por su estética y novedad. “Quedan bien” y “son modernos” (cool). A todo el mundo le gustan y lo perciben como algo útil. El desafío consiste en incluirlos y elaborar al mismo tiempo un informe “convencional”. Así lo exigen quienes encargan las evaluaciones, incluidos los proveedores de financiación.
Un cambio de paradigma en la formulación de recomendaciones
A menudo, hay lagunas entre los resultados, las conclusiones y las recomendaciones de los informes de evaluación, que pueden afectar de manera negativa a su calidad y utilización posterior. Tradicionalmente, los evaluadores formulaban las recomendaciones basándose en las conclusiones. Sin embargo, que el equipo de ejecución del proyecto incorpore a un encargado de formular políticas para redactar conjuntamente recomendaciones aplicables puede contribuir a sacar mayor provecho de las evaluaciones. La función del evaluador consiste en asegurarse de que todas las conclusiones o resultados importantes se traduzcan en recomendaciones aplicables, ayudando al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. Esto se puede lograr formulando preguntas que ayuden a identificar las recomendaciones aplicables y garantizando también el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. El objetivo es que los usuarios de una evaluación hagan suyas las recomendaciones y el equipo de evaluación los resultados empíricos. Si las principales partes interesadas participan en una evaluación, presentar los resultados de ésta a los responsables de las decisiones es relativamente sencillo. Por lo tanto, el análisis de las partes interesadas es fundamental para comprender el interés, la influencia y la categoría de las partes interesadas, a fin de ayudarlas en mayor medida a aprovechar las evaluaciones.
Lecciones de las auditorías ¿Son útiles los comentarios/respuestas de los responsables superiores?
¿Deberíamos recibir comentarios de los usuarios de las evaluaciones? Habitualmente, los proyectos de los informes de evaluación se comparten con los encargados de la ejecución para su revisión y aprobación. En el ámbito de las auditorías, el cliente debe proporcionar una respuesta —positiva o negativa— a las observaciones del auditor en un plazo breve de tiempo. Tal vez, y como se ha mencionado anteriormente, trabajar con los usuarios de las evidencias generadas (resultados y conclusiones) en una evaluación para formular recomendaciones aplicables puede ser una forma de comentario/respuesta de los responsables de ésta. Sin embargo, es preciso gestionar bien la comunicación y las relaciones, a fin de evitar que las evaluaciones se perciban como una auditoría o una herramienta “policial”.
El rastreador de acciones
Se puede utilizar un rastreador de acciones (en Excel o cualquier otro formato) para realizar un seguimiento de la implementación de las recomendaciones a lo largo del tiempo. Simplificar el informe de evaluación y utilizar un lenguaje y un formato sencillos —por ejemplo, preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta— es una práctica bastante útil debido a las siguientes razones:
Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.
Construir alianzas y relaciones para utilizar las evidencias
Habitualmente hay subgrupos o equipos técnicos y políticos. En algunas situaciones, los equipos técnicos rinden cuentas a un equipo administrativo que interactúa con los responsables de las políticas. Los evaluadores suelen trabajar con el equipo técnico, y pueden no tener acceso a los otros equipos. El informe y las recomendaciones son triviales, independientemente del proceso que se haya seguido para su elaboración. La preocupación reside en el desfase entre la presentación del informe de evaluación y las acciones en materia de políticas en los países en desarrollo. Institucionalizar el uso de las evidencias es fundamental para fortalecer el uso y la influencia de las evaluaciones. Sin embargo, es un proceso que puede llevar un cierto tiempo, en particular los cambios estructurales (enfoque descendente). Que los responsables superiores apoyen sin fisuras la utilización de las evidencias es una gran oportunidad que no conviene desaprovechar. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Algunos ejemplos de acciones muy útiles son construir pequeñas alianzas y relaciones para aprovechar las evidencias; incorporar gradualmente a las partes interesadas más “influyentes”; o poner de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.
Evaluaciones en tiempo real
En la era de las pandemias y las situaciones de crisis, las evaluaciones deben ser rápidas y se deben realizar en el momento oportuno. Tenemos que “comunicar continuamente”. Una de las dimensiones de la calidad de los datos es su oportunidad. Refleja el tiempo transcurrido entre el momento en que se dispone de la información y los acontecimientos o fenómenos que ésta describe. La noción de oportunidad se evalúa en función del periodo de tiempo en el que que los datos son valiosos y permiten actuar. Las evaluaciones deben ser oportunas para que resulten útiles y haya margen para la acción.
Más allá del uso de las evidencias
El motivo principal para realizar una evaluación es contribuir a una mejora social. Esto incluye utilizar los resultados para cambiar políticas o programas, pero también va más allá. El uso de una evaluación per se no es su objetivo final. Se pretende que los cambios generados promuevan mejoras en la vida de las personas. Demostrar cómo contribuyen las evaluaciones a mejorar las condiciones socioeconómicas puede fortalecer su valor, su influencia y su uso.
RE: Reporting and supporting evaluation use and influence
Estimados miembros,
Sus conocimientos, experiencias y reflexiones sobre este tema son muy esclarecedores y útiles. ¡Muchas gracias por compartirlos! A continuación, enumero algunas enseñanzas que he extraído hasta ahora de esta discusión. Cualquier contribución/reflexión adicional es más que bienvenida. Recuerden también cumplimentar la encuesta (en inglés).
Un informe de evaluación debe ser breve
Un informe de evaluación demasiado extenso aburre al lector/usuario, que no suele estar interesado en consultar información que ya conoce ni dedicar su tiempo a buscar aquélla que verdaderamente le es útil o novedosa. Muy poca gente —incluidos los usuarios de las evaluaciones— dedicaría tiempo a leer informes de evaluación muy largos. ¡De hecho, es poco probable que un evaluador lea uno de sus propios informes (una vez completado)! Algunas recomendaciones:
Más allá del informe de evaluación: empleo de elementos visuales
Mientras que las evaluaciones se perciban principalmente como requisitos burocráticos con sus correspondientes informes, perderemos grandes oportunidades de mejorar el proceso de aprendizaje. Asumir que la redacción de informes es la manera óptima —y única— de captar y transmitir evidencias y conocimientos es una verdadera lástima. Comunicar los resultados de las evaluaciones de forma concisa, comprensible y significativa es todo un desafío. Necesitamos pensar de forma textual, pero también de manera visual. Debemos resumir los resultados de forma más gráfica, utilizando figuras, ilustraciones y elementos multimedia. Por ejemplo, el Programa Mundial de Alimentos (PMA) de las Naciones Unidas está combinando —en la región de Asia y el Pacífico— la evaluación con la facilitación visual por medio de una metodología denominada EvaluVision. Implicar a personas que pueden tener grandes capacidades de aprendizaje, análisis y comunicación —pero que no son necesariamente expertas en la redacción de informes— es conveniente.
Sin embargo, los elementos visuales se suelen valorar por su estética y novedad. “Quedan bien” y “son modernos” (cool). A todo el mundo le gustan y lo perciben como algo útil. El desafío consiste en incluirlos y elaborar al mismo tiempo un informe “convencional”. Así lo exigen quienes encargan las evaluaciones, incluidos los proveedores de financiación.
Un cambio de paradigma en la formulación de recomendaciones
A menudo, hay lagunas entre los resultados, las conclusiones y las recomendaciones de los informes de evaluación, que pueden afectar de manera negativa a su calidad y utilización posterior. Tradicionalmente, los evaluadores formulaban las recomendaciones basándose en las conclusiones. Sin embargo, que el equipo de ejecución del proyecto incorpore a un encargado de formular políticas para redactar conjuntamente recomendaciones aplicables puede contribuir a sacar mayor provecho de las evaluaciones. La función del evaluador consiste en asegurarse de que todas las conclusiones o resultados importantes se traduzcan en recomendaciones aplicables, ayudando al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. Esto se puede lograr formulando preguntas que ayuden a identificar las recomendaciones aplicables y garantizando también el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. El objetivo es que los usuarios de una evaluación hagan suyas las recomendaciones y el equipo de evaluación los resultados empíricos. Si las principales partes interesadas participan en una evaluación, presentar los resultados de ésta a los responsables de las decisiones es relativamente sencillo. Por lo tanto, el análisis de las partes interesadas es fundamental para comprender el interés, la influencia y la categoría de las partes interesadas, a fin de ayudarlas en mayor medida a aprovechar las evaluaciones.
Lecciones de las auditorías ¿Son útiles los comentarios/respuestas de los responsables superiores?
¿Deberíamos recibir comentarios de los usuarios de las evaluaciones? Habitualmente, los proyectos de los informes de evaluación se comparten con los encargados de la ejecución para su revisión y aprobación. En el ámbito de las auditorías, el cliente debe proporcionar una respuesta —positiva o negativa— a las observaciones del auditor en un plazo breve de tiempo. Tal vez, y como se ha mencionado anteriormente, trabajar con los usuarios de las evidencias generadas (resultados y conclusiones) en una evaluación para formular recomendaciones aplicables puede ser una forma de comentario/respuesta de los responsables de ésta. Sin embargo, es preciso gestionar bien la comunicación y las relaciones, a fin de evitar que las evaluaciones se perciban como una auditoría o una herramienta “policial”.
El rastreador de acciones
Se puede utilizar un rastreador de acciones (en Excel o cualquier otro formato) para realizar un seguimiento de la implementación de las recomendaciones a lo largo del tiempo. Simplificar el informe de evaluación y utilizar un lenguaje y un formato sencillos —por ejemplo, preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta— es una práctica bastante útil debido a las siguientes razones:
Construir alianzas y relaciones para utilizar las evidencias
Habitualmente hay subgrupos o equipos técnicos y políticos. En algunas situaciones, los equipos técnicos rinden cuentas a un equipo administrativo que interactúa con los responsables de las políticas. Los evaluadores suelen trabajar con el equipo técnico, y pueden no tener acceso a los otros equipos. El informe y las recomendaciones son triviales, independientemente del proceso que se haya seguido para su elaboración. La preocupación reside en el desfase entre la presentación del informe de evaluación y las acciones en materia de políticas en los países en desarrollo. Institucionalizar el uso de las evidencias es fundamental para fortalecer el uso y la influencia de las evaluaciones. Sin embargo, es un proceso que puede llevar un cierto tiempo, en particular los cambios estructurales (enfoque descendente). Que los responsables superiores apoyen sin fisuras la utilización de las evidencias es una gran oportunidad que no conviene desaprovechar. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Algunos ejemplos de acciones muy útiles son construir pequeñas alianzas y relaciones para aprovechar las evidencias; incorporar gradualmente a las partes interesadas más “influyentes”; o poner de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.
Evaluaciones en tiempo real
En la era de las pandemias y las situaciones de crisis, las evaluaciones deben ser rápidas y se deben realizar en el momento oportuno. Tenemos que “comunicar continuamente”. Una de las dimensiones de la calidad de los datos es su oportunidad. Refleja el tiempo transcurrido entre el momento en que se dispone de la información y los acontecimientos o fenómenos que ésta describe. La noción de oportunidad se evalúa en función del periodo de tiempo en el que que los datos son valiosos y permiten actuar. Las evaluaciones deben ser oportunas para que resulten útiles y haya margen para la acción.
Más allá del uso de las evidencias
El motivo principal para realizar una evaluación es contribuir a una mejora social. Esto incluye utilizar los resultados para cambiar políticas o programas, pero también va más allá. El uso de una evaluación per se no es su objetivo final. Se pretende que los cambios generados promuevan mejoras en la vida de las personas. Demostrar cómo contribuyen las evaluaciones a mejorar las condiciones socioeconómicas puede fortalecer su valor, su influencia y su uso.
Gordon Wanzare