En general, puede decirse que, según el contexto y la experiencia, puede cuestionarse la pertinencia de esta combinación para responder mejor a las necesidades de la toma de decisiones.
Tres preguntas clave:
1. ¿Los responsables de la toma de decisiones utilizan datos de seguimiento y estadísticos o se basan en la evaluación?
La evaluación lleva tiempo y sus resultados también. Pocos responsables tienen tiempo para esperarlos. Antes de que te des cuenta, su mandato ha terminado, o hay una remodelación del gobierno. Es posible que algunos ya no estén en el cargo cuando se publiquen los resultados de la evaluación.
Por ello, los datos de seguimiento son la principal herramienta de apoyo a la toma de decisiones. De hecho, los responsables de la toma de decisiones están dispuestos a utilizar los datos de seguimiento porque son fáciles de conseguir y de utilizar, independientemente de los métodos por los que se hayan generado. Utilizan menos las pruebas evaluativas porque no se generan a tiempo para poder utilizarlas.
El seguimiento, al ser un proceso que proporciona información periódica, permite tomar decisiones rápidamente. Un buen seguimiento implica necesariamente el éxito de un proyecto o política, ya que permite corregir y rectificar rápidamente una situación o limitación imprevista. Además, cuanto más fiable y pertinente sea la información, más eficaz será el control. A este respecto, diversos servicios estatales (centrales y desconcentrados, incluidos los proyectos) participan en la elaboración de estadísticas o en la realización de estimaciones, a veces con mucha dificultad y con errores en algunos países.
Sin embargo, las estadísticas producidas deben ser analizadas e interpretadas adecuadamente para sacar conclusiones útiles para la toma de decisiones. Aquí es donde hay problemas, ya que muchos directivos piensan que las estadísticas y los datos son ya un fin en sí mismos. Sin embargo, las estadísticas y los datos de seguimiento sólo son relevantes y útiles cuando son de buena calidad, se recogen y analizan en el momento adecuado y se utilizan para sacar conclusiones y lecciones relacionadas con el contexto y el rendimiento. Esto es importante y necesario para la función de evaluación.
2. ¿Cuál es el valor añadido que los responsables de la toma de decisiones venrealmente en la evaluación?
La evaluación requiere más tiempo, ya que está respaldada por la investigación y el análisis. Permite a los responsables de la toma de decisiones revisar las estrategias, corregir las acciones y, en ocasiones, revisar los objetivos si se consideran demasiado ambiciosos o inalcanzables una vez aplicada la política.
Una evaluación sólida debe partir de la información de seguimiento existente (estadísticas, interpretaciones y conclusiones). Un reto al que siempre se enfrenta la evaluación (especialmente la externa o independiente) es la disponibilidad de un tiempo limitado para generar conclusiones y lecciones, a diferencia del seguimiento, que está permanentemente sobre el terreno. Por eso, en esta situación, la disponibilidad de datos de seguimiento es de suma importancia. Y es precisamente en relación con este último aspecto que las evaluaciones tienen dificultades para encontrar pruebas que permitan hacer inferencias relevantes sobre diferentes aspectos del objeto evaluado. No se debe culpar a la evaluación si los datos e información de seguimiento son inexistentes o de mala calidad. Por otro lado, hay que reprochar a una evaluación que saque conclusiones sobre aspectos que adolecen de falta de pruebas, incluidos los datos de seguimiento y la información. Por lo tanto, la evolución de la evaluación debe ser concomitante con la evolución del seguimiento.
Además, es muy importante valorar a los productores de datos y darles su opinión sobre el uso de los datos en la evaluación y la toma de decisiones. Se trata de dar sentido a la recogida de datos y de concienciar a los responsables de la toma de decisiones de su importancia.
3. ¿Cómo debería evolucionar la evaluación para responder mejor a las necesidades de los responsables de la toma de decisiones, por ejemplo, en cuanto a los tiempos de presentación de informes?
Una llamada a la acción innovadora: evaluaciones en tiempo real, rápidas pero rigurosas, si realmente queremos que las pruebas de evaluación sean utilizadas por los responsables de la toma de decisiones.
Cuando la evaluación se basa en evidencias y fuentes trianguladas, sus conclusiones y lecciones son muy bien tomadas en cuenta por los responsables políticos, cuando están debidamente informados y fundamentados, porque lo ven como un enfoque más completo.
4. Algunos retos del seguimiento y la evaluación
En los países en desarrollo, la principal limitación del seguimiento y la evaluación es el flujo de información del nivel local al central y su consolidación. De hecho, la información suele ser poco fiable, lo que inevitablemente repercute en las decisiones que se toman.
Lamentablemente, el sistema de seguimiento y evaluación no recibe una financiación adecuada para su funcionamiento, lo que repercute en los resultados esperados de los programas y proyectos.
Sin embargo, el problema es mucho más grave en los programas y proyectos públicos que en los financiados por donantes. La mayoría de las veces, los proyectos financiados por donantes tienen un historial de éxito, con un mínimo del 90% de ejecución y consecución de los objetivos de rendimiento gracias a un sistema de seguimiento y evaluación adecuado (contratación de profesionales, financiación del sistema, etc.). Pero cuando los donantes se van, no hay continuidad, debido a la falta de una estrategia de sostenibilidad de las intervenciones y del sistema de seguimiento y evaluación (actores y herramientas). Las razones para ello suelen ser (i) la falta de transición entre los especialistas de seguimiento y evaluación de los proyectos y los actores estatales; (ii) la falta de recursos humanos o de especialistas cualificados en las estructuras públicas, pero también (iii) la falta de política o de compromiso del Estado para financiar este mecanismo después del ciclo del proyecto.
5. Preguntas en perspectiva
¿Cómo se puede dotar de recursos a las actividades de seguimiento y evaluación para que funcionen (realización de encuestas, recogida y tratamiento de datos, etc.)?
¿Cuáles son las formas más eficaces de llevar a cabo el seguimiento en una zona inaccesible, como una zona de conflicto?
¿Cómo podemos conseguir que los responsables de la toma de decisiones financien la sostenibilidad de las intervenciones (incluido el presupuesto de seguimiento y evaluación) en beneficio de las comunidades, y cómo podemos elevar el nivel de conocimientos de los agentes gubernamentales en materia de seguimiento y evaluación y mantenerlos en el sector público?
6. Enfoques de las soluciones
La disponibilidad de recursos para la funcionalidad de los mecanismos de seguimiento-evaluación debe examinarse a dos niveles: en primer lugar, a nivel de recursos humanos y, en segundo lugar, a nivel de recursos financieros.
A nivel de recursos humanos, los proyectos y programas deberían empezar a integrar la transferencia de competencias de seguimiento-evaluación a los beneficiarios para garantizar la continuidad del ejercicio al final del proyecto.
En cuanto a los recursos financieros, en la planificación presupuestaria de los componentes, siempre es necesario introducir una línea provisional para los componentes transversales con el fin de tener disponibilidad para sus funcionalidades. En la actualidad, esta línea se incluye en varios marcos de donantes.
Una opción para reducir los costes es recurrir, en la medida de lo posible, a los usuarios (agricultores, pescadores, etc.) para la recogida de datos (en lugar de recurrir únicamente a encuestadores "profesionales").
7. Conclusión
Tanto el seguimiento como la evaluación son importantes (en el sentido de que son dos enfoques diferentes que no se sustituyen entre sí) y el seguimiento es importante para la evaluación (se hacen mejores evaluaciones con un buen sistema de seguimiento). Por tanto, son dos enfoques diferentes pero complementarios.
Unos buenos datos de seguimiento son la base de una buena evaluación. Se complementan mutuamente, el seguimiento proporciona claridad sobre el progreso de la implementación y los ajustes, si los hay, en la implementación y con una evaluación, además de validar los datos de seguimiento, es posible darles significado y explicación, información oportuna para los responsables de la toma de decisiones.
Los datos del seguimiento permiten diseñar las acciones y políticas posteriores. Con la evaluación se ajusta el diseño y también se puede mejorar el seguimiento, porque como evaluador intento dar recomendaciones para mejorar el seguimiento.
RE: Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?
Resumen del debate
En general, puede decirse que, según el contexto y la experiencia, puede cuestionarse la pertinencia de esta combinación para responder mejor a las necesidades de la toma de decisiones.
Tres preguntas clave:
1. ¿Los responsables de la toma de decisiones utilizan datos de seguimiento y estadísticos o se basan en la evaluación?
La evaluación lleva tiempo y sus resultados también. Pocos responsables tienen tiempo para esperarlos. Antes de que te des cuenta, su mandato ha terminado, o hay una remodelación del gobierno. Es posible que algunos ya no estén en el cargo cuando se publiquen los resultados de la evaluación.
Por ello, los datos de seguimiento son la principal herramienta de apoyo a la toma de decisiones. De hecho, los responsables de la toma de decisiones están dispuestos a utilizar los datos de seguimiento porque son fáciles de conseguir y de utilizar, independientemente de los métodos por los que se hayan generado. Utilizan menos las pruebas evaluativas porque no se generan a tiempo para poder utilizarlas.
El seguimiento, al ser un proceso que proporciona información periódica, permite tomar decisiones rápidamente. Un buen seguimiento implica necesariamente el éxito de un proyecto o política, ya que permite corregir y rectificar rápidamente una situación o limitación imprevista. Además, cuanto más fiable y pertinente sea la información, más eficaz será el control. A este respecto, diversos servicios estatales (centrales y desconcentrados, incluidos los proyectos) participan en la elaboración de estadísticas o en la realización de estimaciones, a veces con mucha dificultad y con errores en algunos países.
Sin embargo, las estadísticas producidas deben ser analizadas e interpretadas adecuadamente para sacar conclusiones útiles para la toma de decisiones. Aquí es donde hay problemas, ya que muchos directivos piensan que las estadísticas y los datos son ya un fin en sí mismos. Sin embargo, las estadísticas y los datos de seguimiento sólo son relevantes y útiles cuando son de buena calidad, se recogen y analizan en el momento adecuado y se utilizan para sacar conclusiones y lecciones relacionadas con el contexto y el rendimiento. Esto es importante y necesario para la función de evaluación.
2. ¿Cuál es el valor añadido que los responsables de la toma de decisiones ven realmente en la evaluación?
La evaluación requiere más tiempo, ya que está respaldada por la investigación y el análisis. Permite a los responsables de la toma de decisiones revisar las estrategias, corregir las acciones y, en ocasiones, revisar los objetivos si se consideran demasiado ambiciosos o inalcanzables una vez aplicada la política.
Una evaluación sólida debe partir de la información de seguimiento existente (estadísticas, interpretaciones y conclusiones). Un reto al que siempre se enfrenta la evaluación (especialmente la externa o independiente) es la disponibilidad de un tiempo limitado para generar conclusiones y lecciones, a diferencia del seguimiento, que está permanentemente sobre el terreno. Por eso, en esta situación, la disponibilidad de datos de seguimiento es de suma importancia. Y es precisamente en relación con este último aspecto que las evaluaciones tienen dificultades para encontrar pruebas que permitan hacer inferencias relevantes sobre diferentes aspectos del objeto evaluado. No se debe culpar a la evaluación si los datos e información de seguimiento son inexistentes o de mala calidad. Por otro lado, hay que reprochar a una evaluación que saque conclusiones sobre aspectos que adolecen de falta de pruebas, incluidos los datos de seguimiento y la información. Por lo tanto, la evolución de la evaluación debe ser concomitante con la evolución del seguimiento.
Además, es muy importante valorar a los productores de datos y darles su opinión sobre el uso de los datos en la evaluación y la toma de decisiones. Se trata de dar sentido a la recogida de datos y de concienciar a los responsables de la toma de decisiones de su importancia.
3. ¿Cómo debería evolucionar la evaluación para responder mejor a las necesidades de los responsables de la toma de decisiones, por ejemplo, en cuanto a los tiempos de presentación de informes?
Una llamada a la acción innovadora: evaluaciones en tiempo real, rápidas pero rigurosas, si realmente queremos que las pruebas de evaluación sean utilizadas por los responsables de la toma de decisiones.
Cuando la evaluación se basa en evidencias y fuentes trianguladas, sus conclusiones y lecciones son muy bien tomadas en cuenta por los responsables políticos, cuando están debidamente informados y fundamentados, porque lo ven como un enfoque más completo.
4. Algunos retos del seguimiento y la evaluación
En los países en desarrollo, la principal limitación del seguimiento y la evaluación es el flujo de información del nivel local al central y su consolidación. De hecho, la información suele ser poco fiable, lo que inevitablemente repercute en las decisiones que se toman.
Lamentablemente, el sistema de seguimiento y evaluación no recibe una financiación adecuada para su funcionamiento, lo que repercute en los resultados esperados de los programas y proyectos.
Sin embargo, el problema es mucho más grave en los programas y proyectos públicos que en los financiados por donantes. La mayoría de las veces, los proyectos financiados por donantes tienen un historial de éxito, con un mínimo del 90% de ejecución y consecución de los objetivos de rendimiento gracias a un sistema de seguimiento y evaluación adecuado (contratación de profesionales, financiación del sistema, etc.). Pero cuando los donantes se van, no hay continuidad, debido a la falta de una estrategia de sostenibilidad de las intervenciones y del sistema de seguimiento y evaluación (actores y herramientas). Las razones para ello suelen ser (i) la falta de transición entre los especialistas de seguimiento y evaluación de los proyectos y los actores estatales; (ii) la falta de recursos humanos o de especialistas cualificados en las estructuras públicas, pero también (iii) la falta de política o de compromiso del Estado para financiar este mecanismo después del ciclo del proyecto.
5. Preguntas en perspectiva
6. Enfoques de las soluciones
La disponibilidad de recursos para la funcionalidad de los mecanismos de seguimiento-evaluación debe examinarse a dos niveles: en primer lugar, a nivel de recursos humanos y, en segundo lugar, a nivel de recursos financieros.
A nivel de recursos humanos, los proyectos y programas deberían empezar a integrar la transferencia de competencias de seguimiento-evaluación a los beneficiarios para garantizar la continuidad del ejercicio al final del proyecto.
En cuanto a los recursos financieros, en la planificación presupuestaria de los componentes, siempre es necesario introducir una línea provisional para los componentes transversales con el fin de tener disponibilidad para sus funcionalidades. En la actualidad, esta línea se incluye en varios marcos de donantes.
Una opción para reducir los costes es recurrir, en la medida de lo posible, a los usuarios (agricultores, pescadores, etc.) para la recogida de datos (en lugar de recurrir únicamente a encuestadores "profesionales").
7. Conclusión
Tanto el seguimiento como la evaluación son importantes (en el sentido de que son dos enfoques diferentes que no se sustituyen entre sí) y el seguimiento es importante para la evaluación (se hacen mejores evaluaciones con un buen sistema de seguimiento). Por tanto, son dos enfoques diferentes pero complementarios.
Unos buenos datos de seguimiento son la base de una buena evaluación. Se complementan mutuamente, el seguimiento proporciona claridad sobre el progreso de la implementación y los ajustes, si los hay, en la implementación y con una evaluación, además de validar los datos de seguimiento, es posible darles significado y explicación, información oportuna para los responsables de la toma de decisiones.
Los datos del seguimiento permiten diseñar las acciones y políticas posteriores. Con la evaluación se ajusta el diseño y también se puede mejorar el seguimiento, porque como evaluador intento dar recomendaciones para mejorar el seguimiento.