Gracias por compartir y debatir este importante tema. Cuanto más discutamos, más entenderemos cómo abordar las cuestiones que afectan a la práctica de la evaluación. Para empezar, el seguimiento y la evaluación, ¿son diferentes o son dos caras de la misma moneda? Una combinación perfecta en teoría, pero que en la práctica no coincide en gran medida, como planteó Elias.
Con una anécdota y algunas opiniones que invitan a la reflexión, o a la controversia (¡espero que me toque más de una!), analizaré el Seguimiento y la Evaluación, cada uno por su lado, y terminaré con mi reflexión personal. En primer lugar, animo a los colegas a que sigan leyendo Ten Steps to a Results-Based Monitoring and Evaluation System, de Kusek y Rist. Aunque se publicó en 2004, sigue arrojando luz sobre las interrelaciones del seguimiento y la evaluación. Hay que tener en cuenta que no estoy de acuerdo con algunas proposiciones o definiciones de ese libro de texto. Pero las citaré:
"La evaluación es un complemento del seguimiento en el sentido de que cuando un sistema de seguimiento envía señales de que los esfuerzos se están desviando (por ejemplo, que la población objetivo no está haciendo uso de los servicios, que los costes se están acelerando, que hay una resistencia real a la adopción de una innovación, etc.), entonces una buena información evaluativa puede ayudar a clarificar las realidades y tendencias observadas con el sistema de seguimiento". p. 13
El seguimiento como fruto fácil. Anécdota. Un responsable de la toma de decisiones me decía que prefería los métodos rápidos y sucios a los métodos de evaluación rigurosos y largos. ¿Por qué? No es de extrañar que sea fácil y rápido hacerse una idea de las actividades realizadas y de los resultados obtenidos. Por cierto, el seguimiento se ocupa de todo lo que está bajo el control de los ejecutores (insumos, actividades y resultados). Una discusión para otro día. En el caso del seguimiento, normalmente se trata de comprobar la base de datos (hoy en día, miramos los cuadros de mando visualizados) y poder decir en qué punto se encuentra un proyecto en su ejecución, el progreso hacia los objetivos (¿producto/resultado?).
La evaluación es el fruto más preciado: En un sentido tradicional, la evaluación trata de establecer si se ha producido un cambio y qué lo ha impulsado y cómo. Es el ámbito de la causalidad, la correlación, la asociación, etc. entre lo que se hace y lo que finalmente se consigue. La evaluación requiere mucho tiempo y sus resultados también. Pocos responsables tienen tiempo para esperar. En poco tiempo, su mandato llega a su fin, o hay una remodelación del gobierno. Algunos pueden dejar de estar en el cargo para cuando se conozcan los resultados de la evaluación. ¿Todavía nos preguntamos por qué los responsables de la toma de decisiones prefieren las pruebas de seguimiento?
Según mi opinión y experiencia en materia de seguimiento y evaluación, tal y como se explica en Kusek y Risk (2004), un seguimiento bien diseñado y realizado alimenta la evaluación, y los resultados de la evaluación muestran (cuando el proyecto sigue en marcha) lo que hay que vigilar de cerca. Un buen seguimiento recoge y proporciona, por ejemplo, datos de series temporales, útiles para la evaluación. La evaluación también informa al seguimiento. Por cierto, personalmente soy menos partidario de las evaluaciones de final de proyecto. Parece antitético para un profesional de la evaluación, ¿verdad? Porque las comunidades a las que va dirigido el proyecto no se benefician de esas evaluaciones finales. Por supuesto, cuando se trata de un proyecto piloto, puede ampliarse y llegar a los grupos objetivo iniciales con un proyecto mejorado, gracias a las lecciones extraídas de la evaluación. Créanme, yo realizo evaluaciones finales, pero son menos útiles que las evaluaciones de desarrollo, formativas, en tiempo real y rápidas. Un tema para otro día.
Tanto el seguimiento como la evaluación constituyen un sistema único, complementario y que se nutre mutuamente. Es posible que a algunos colegas de las oficinas o departamentos de evaluación independientes no les guste la interrelación e interdependencia del seguimiento y la evaluación. Simplemente porque están etiquetados como "independientes". Esto me recuerda el otro debate sobre la independencia, la neutralidad y la imparcialidad en la evaluación. Oups no participé en esa discusión. Estoy de acuerdo en que la autoevaluación y la evaluación interna no deben ser desacreditadas, como argumentaba Elias en su blog. Los evaluadores internos entienden y conocen el contexto que a veces los evaluadores externos e independientes se esfuerzan por captar para dar sentido a los resultados de la evaluación. Aparquemos esto por ahora.
El año pasado se organizó un foro en línea (enlace al proyecto de informe) que reunió a jóvenes de varios países del Sahel. A través de ese foro, se debatieron y compartieron los sueños, las aspiraciones, los retos, las oportunidades, etc. de los jóvenes. A través de la plataforma digital se recogió una enorme cantidad de datos. A partir de esas conversaciones de los jóvenes (una actividad que llegó a cientos de ellos), no solo se comprobó el cambio en la narrativa, sino también lo que impulsa/inhibe el cambio y las aspiraciones de los jóvenes. Una combinación perfecta de seguimiento (llegar a un número x de jóvenes) y evaluación (factores que impulsan o inhiben el cambio deseado). Cuando existen datos de esas conversaciones con los jóvenes, es menos útil realizar una evaluación para valorar los factores asociados al cambio en el Sahel. Sólo hay que analizar esos datos y, por supuesto, elaborar una guía analítica que ayude en ese proceso. El uso de datos de seguimiento es de gran ayuda para la evaluación. Hay pruebas de que los responsables de la toma de decisiones de alto nivel apoyan mucho las percepciones del análisis realizado sobre los debates de los jóvenes. Imagínese que hay que esperar a que llegue el momento de hacer una evaluación adecuada. Volviendo al tema.
En general, los responsables de la toma de decisiones son partidarios de utilizar las pruebas de seguimiento, ya que están fácilmente disponibles. El seguimiento parece sencillo y fácil de usar. Mientras la evaluación se considere una torre de marfil, una especie de ciencia espacial, será menos útil para los responsables de la toma de decisiones. La propia jerga de la evaluación, ¿no es problemática, un obstáculo para el uso de las pruebas evaluativas? Mis suposiciones: A los responsables de la toma de decisiones les gusta utilizar pruebas de seguimiento, ya que toman decisiones como si fueran bomberos, sin importarles los métodos rápidos y sucios, pero prácticos. Utilizan menos pruebas evaluativas porque no tienen tiempo para esperar.
Un llamamiento a las acciones innovadoras: evaluaciones rápidas pero rigurosas en tiempo real, si realmente queremos que los responsables de la toma de decisiones utilicen las pruebas evaluativas.
Gracias a todos. Sigamos aprendiendo y encontrando las mejores formas de llevar las pruebas de SyE donde más se necesitan: la toma de decisiones a todos los niveles.
RE: Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?
Estimado Elias y colegas,
Gracias por compartir y debatir este importante tema. Cuanto más discutamos, más entenderemos cómo abordar las cuestiones que afectan a la práctica de la evaluación. Para empezar, el seguimiento y la evaluación, ¿son diferentes o son dos caras de la misma moneda? Una combinación perfecta en teoría, pero que en la práctica no coincide en gran medida, como planteó Elias.
Con una anécdota y algunas opiniones que invitan a la reflexión, o a la controversia (¡espero que me toque más de una!), analizaré el Seguimiento y la Evaluación, cada uno por su lado, y terminaré con mi reflexión personal. En primer lugar, animo a los colegas a que sigan leyendo Ten Steps to a Results-Based Monitoring and Evaluation System, de Kusek y Rist. Aunque se publicó en 2004, sigue arrojando luz sobre las interrelaciones del seguimiento y la evaluación. Hay que tener en cuenta que no estoy de acuerdo con algunas proposiciones o definiciones de ese libro de texto. Pero las citaré:
"La evaluación es un complemento del seguimiento en el sentido de que cuando un sistema de seguimiento envía señales de que los esfuerzos se están desviando (por ejemplo, que la población objetivo no está haciendo uso de los servicios, que los costes se están acelerando, que hay una resistencia real a la adopción de una innovación, etc.), entonces una buena información evaluativa puede ayudar a clarificar las realidades y tendencias observadas con el sistema de seguimiento". p. 13
El seguimiento como fruto fácil. Anécdota. Un responsable de la toma de decisiones me decía que prefería los métodos rápidos y sucios a los métodos de evaluación rigurosos y largos. ¿Por qué? No es de extrañar que sea fácil y rápido hacerse una idea de las actividades realizadas y de los resultados obtenidos. Por cierto, el seguimiento se ocupa de todo lo que está bajo el control de los ejecutores (insumos, actividades y resultados). Una discusión para otro día. En el caso del seguimiento, normalmente se trata de comprobar la base de datos (hoy en día, miramos los cuadros de mando visualizados) y poder decir en qué punto se encuentra un proyecto en su ejecución, el progreso hacia los objetivos (¿producto/resultado?).
La evaluación es el fruto más preciado: En un sentido tradicional, la evaluación trata de establecer si se ha producido un cambio y qué lo ha impulsado y cómo. Es el ámbito de la causalidad, la correlación, la asociación, etc. entre lo que se hace y lo que finalmente se consigue. La evaluación requiere mucho tiempo y sus resultados también. Pocos responsables tienen tiempo para esperar. En poco tiempo, su mandato llega a su fin, o hay una remodelación del gobierno. Algunos pueden dejar de estar en el cargo para cuando se conozcan los resultados de la evaluación. ¿Todavía nos preguntamos por qué los responsables de la toma de decisiones prefieren las pruebas de seguimiento?
Según mi opinión y experiencia en materia de seguimiento y evaluación, tal y como se explica en Kusek y Risk (2004), un seguimiento bien diseñado y realizado alimenta la evaluación, y los resultados de la evaluación muestran (cuando el proyecto sigue en marcha) lo que hay que vigilar de cerca. Un buen seguimiento recoge y proporciona, por ejemplo, datos de series temporales, útiles para la evaluación. La evaluación también informa al seguimiento. Por cierto, personalmente soy menos partidario de las evaluaciones de final de proyecto. Parece antitético para un profesional de la evaluación, ¿verdad? Porque las comunidades a las que va dirigido el proyecto no se benefician de esas evaluaciones finales. Por supuesto, cuando se trata de un proyecto piloto, puede ampliarse y llegar a los grupos objetivo iniciales con un proyecto mejorado, gracias a las lecciones extraídas de la evaluación. Créanme, yo realizo evaluaciones finales, pero son menos útiles que las evaluaciones de desarrollo, formativas, en tiempo real y rápidas. Un tema para otro día.
Tanto el seguimiento como la evaluación constituyen un sistema único, complementario y que se nutre mutuamente. Es posible que a algunos colegas de las oficinas o departamentos de evaluación independientes no les guste la interrelación e interdependencia del seguimiento y la evaluación. Simplemente porque están etiquetados como "independientes". Esto me recuerda el otro debate sobre la independencia, la neutralidad y la imparcialidad en la evaluación. Oups no participé en esa discusión. Estoy de acuerdo en que la autoevaluación y la evaluación interna no deben ser desacreditadas, como argumentaba Elias en su blog. Los evaluadores internos entienden y conocen el contexto que a veces los evaluadores externos e independientes se esfuerzan por captar para dar sentido a los resultados de la evaluación. Aparquemos esto por ahora.
El año pasado se organizó un foro en línea (enlace al proyecto de informe) que reunió a jóvenes de varios países del Sahel. A través de ese foro, se debatieron y compartieron los sueños, las aspiraciones, los retos, las oportunidades, etc. de los jóvenes. A través de la plataforma digital se recogió una enorme cantidad de datos. A partir de esas conversaciones de los jóvenes (una actividad que llegó a cientos de ellos), no solo se comprobó el cambio en la narrativa, sino también lo que impulsa/inhibe el cambio y las aspiraciones de los jóvenes. Una combinación perfecta de seguimiento (llegar a un número x de jóvenes) y evaluación (factores que impulsan o inhiben el cambio deseado). Cuando existen datos de esas conversaciones con los jóvenes, es menos útil realizar una evaluación para valorar los factores asociados al cambio en el Sahel. Sólo hay que analizar esos datos y, por supuesto, elaborar una guía analítica que ayude en ese proceso. El uso de datos de seguimiento es de gran ayuda para la evaluación. Hay pruebas de que los responsables de la toma de decisiones de alto nivel apoyan mucho las percepciones del análisis realizado sobre los debates de los jóvenes. Imagínese que hay que esperar a que llegue el momento de hacer una evaluación adecuada. Volviendo al tema.
En general, los responsables de la toma de decisiones son partidarios de utilizar las pruebas de seguimiento, ya que están fácilmente disponibles. El seguimiento parece sencillo y fácil de usar. Mientras la evaluación se considere una torre de marfil, una especie de ciencia espacial, será menos útil para los responsables de la toma de decisiones. La propia jerga de la evaluación, ¿no es problemática, un obstáculo para el uso de las pruebas evaluativas? Mis suposiciones: A los responsables de la toma de decisiones les gusta utilizar pruebas de seguimiento, ya que toman decisiones como si fueran bomberos, sin importarles los métodos rápidos y sucios, pero prácticos. Utilizan menos pruebas evaluativas porque no tienen tiempo para esperar.
Un llamamiento a las acciones innovadoras: evaluaciones rápidas pero rigurosas en tiempo real, si realmente queremos que los responsables de la toma de decisiones utilicen las pruebas evaluativas.
Gracias a todos. Sigamos aprendiendo y encontrando las mejores formas de llevar las pruebas de SyE donde más se necesitan: la toma de decisiones a todos los niveles.
Jean Providence Nzabonimpa