Análisis de evaluabilidad: una invitación a la reflexión y el debate

Gracias a todos por este interesante y participativo diálogo sobre los análisis de evaluabilidad. En breve publicaremos un excelente resumen de nuestro debate, redactado por Gaia Gullotta, del CGIAR. Estará disponible en inglés, español y francés.

Saludos. 

Aun a riesgo de crear una conceptualización demasiado rígida, sugiero que sería útil plantearse estas preguntas a la hora de considerar la pertinencia de una Evaluación de Evaluabilidad (EA):
1. Contexto institucional y físico: ¿Cuán numerosos y diversos son los lugares?
2. Diseño de la intervención:  ¿Cuán numerosas y diversas son las intervenciones y sus interconexiones?
3. Demanda de las partes interesadas: ¿Cuán numerosos y diversos son los financiadores, los socios ejecutores y los grupos beneficiarios, y sus interconexiones?
4. Disponibilidad de datos: ¿Cuán numerosos y diversos son los sistemas de seguimiento y evaluación y sus interconexiones?

Gracias Amy y a los demás por este interesante hilo.

Hemos participado en muchas evaluaciones de evaluabilidad (EA) para diferentes organizaciones: instituciones financieras internacionales, organismos de la ONU, ONG y el sector privado. Estoy de acuerdo con Rick en que la complejidad, más que el tamaño de la inversión, es lo más importante en cuanto al valor de la EA.  Las instituciones con un mandato y unos procedimientos operativos claros, y a menudo un menú de indicadores de rendimiento y directrices, no suelen necesitar una EA.  

Las más útiles con las que hemos trabajado se refieren a proyectos de desarrollo complejos, en los que los resultados esperados pueden ser emergentes, con indicadores de proceso, producto y resultado. Otro proceso útil para las evaluaciones de impacto es cuando la capacidad de seguimiento y evaluación del equipo de ejecución es limitada y no están seguros de cómo medir lo que se indica en el diseño. Por lo tanto, se trata del valor incremental de la EA y también de la inversión del coste en relación con el beneficio (dos ejemplos recientes a continuación).

El primero, un programa muy complejo de gestión de recursos naturales que llegaba a sus últimos años y abarcaba resultados políticos, institucionales y físicos. El equipo de ejecución se dio cuenta de que no sabían cómo medir todos los resultados finales: habían supuesto que un equipo de evaluación de impacto produciría todos los datos necesarios, pero no tenían presupuesto para el alcance de la recopilación de datos requerida. Hicimos una evaluación de impacto (muy tardía) y descubrimos que el equipo necesitaba reconstruir una serie de datos brutos de ejecución para poder hacer un seguimiento de los resultados: un trabajo ingente.  Si hubieran contado con una evaluación de impacto y con el desarrollo de capacidades en una fase más temprana del programa, habrían estado en una posición mucho más fuerte y los costes para resolver los problemas habrían sido mucho menores.

Otro fue un complejo proyecto para jóvenes y población indígena, a punto de comenzar, que requería un enfoque culturalmente sensible de los indicadores y los procesos de seguimiento.  Esa EA se llevó a cabo de forma muy participativa (poco costosa) y se diseñó para implicar a los participantes en formas seguras y apropiadas de registrar datos que demostraran niveles de progreso y aprendizaje que sirvieran para mejorar el diseño en fases posteriores de la ejecución. Los costes de la inversión de tiempo inicial en la EA cosecharon enormes beneficios tanto para los resultados del programa como para su evaluación.

También me gusta la idea de los nodos de toma de decisiones para decidir si es necesaria o no una EA. Gracias de nuevo por todos los puntos planteados.

Muchas gracias, Rick, por tus comentarios. Sería interesante examinar esos datos sobre las proporciones del pasado. Y sí, el tamaño del presupuesto puede ser uno de los elementos de una lista de control considerada como indicador de complejidad, pero estoy de acuerdo en que no debería ser el único para representar la complejidad, por la razón que has señalado. Tu sugerencia de representar los nodos de una red me parece lógica. Cuanto más numerosos sean los posibles vínculos causales y las fuentes de datos, mayor será la valoración, lo que puede llevar a una decisión afirmativa sobre una EA.

Tal vez una lista de control de este tipo también podría ayudar a centrar una EA, o incluir un conjunto de elementos de seguimiento que puedan explorar inicialmente las cuatro áreas principales representadas en el diagrama de rompecabezas que ha compartido a continuación: https://mande.co.uk/wp-content/uploads/2022/05/Austria-diagram.png (contexto institucional y físico, diseño de la intervención, demanda de las partes interesadas y disponibilidad de datos). En caso necesario, una lista de control de este tipo no sólo puede orientar la decisión de realizar o no una EA, sino que también puede ayudar a centrar una EA y sus áreas prioritarias, convirtiéndola así en un ejercicio más coste-eficaz y enfocado.

Me interesaría conocer la opinión de otras personas de este foro que gestionen evaluaciones o EA. ¿Cómo deciden en su organización si realizar o no una EA? ¿Y cómo se toman las decisiones sobre cómo enfocar una EA?

Saludos, Amy

Respondiendo al post de Amy. 
1. 1. Sí, los EA deben ser proporcionales a los costes probables de una evaluación. Estoy 100% de acuerdo. Ahora debería ser posible realizar alguna investigación histórica sobre las proporciones del pasado para hacernos una idea aproximada de los valores medios y medios.
2. Sí, al menos merece la pena pensar en una lista de control sobre la necesidad de una EA. Una indicación en este sentido es el comentario de que «algunas agencias de la ONU han desarrollado un enfoque que hace obligatoria la EA para programas con grandes presupuestos por encima de una cantidad determinada». Pero no es una correlación directa. Un programa grande y sencillo puede no necesitar una EA, es decir, uno con unos pocos objetivos e intervenciones sencillos y claros. ¿Se ajustaría un programa de inmunización a esta descripción?  Pero, por regla general, creo que los programas de gran presupuesto tienden a ser más complejos en cuanto a objetivos, intervenciones, socios, partes interesadas y ubicación geográfica. Considérenlos como nodos de una red, cuantos más sean, más numerosos serán los vínculos causales posibles y reales, y los tipos y fuentes de información sobre lo que está ocurriendo. Si se va a elaborar una lista de control de las necesidades de EA, ¿quizás estas fuentes de complejidad podrían ser elementos a tener en cuenta?

Gracias a todos por su participación. Ha habido muchas discusiones sobre los pros y los contras de las evaluaciones de la evaluabilidad (EA), con fuertes perspectivas en ambos lados del debate. Como grupo, tenemos experiencias variadas con las EAs, algunos de nosotros hemos implementado EAs, otros no; y algunos de nosotros hemos leído informes, otros no. Y tenemos puntos de vista sólidos que van desde considerarlos un uso innecesario de los escasos recursos de seguimiento y evaluación hasta identificar beneficios específicos de su uso en la planificación y maximización de los resultados de una evaluación.

Concluiremos este debate el 10 de septiembre. Antes de eso, me gustaría invitar a una mayor reflexión sobre cuándo implementar una EA y cuándo no - la cuestión tanto del coste-beneficio como del beneficio percibido por las partes interesadas, en relación con las preguntas 1 y 2 anteriores. Me gustaría sugerir que las EA deben ser proporcionales al coste de una evaluación posterior, tanto para un buen uso de los recursos financieros como para la aceptación de las partes interesadas. ¿Alguien tiene alguna idea que aportar a este respecto, tanto en términos de proporciones reales como de política organizativa sobre las EA en cuanto a cuándo y cómo deben aplicarse? Conozco algunos organismos de las Naciones Unidas que han desarrollado un enfoque consistente en hacer obligatorias las EA para los programas con presupuestos elevados que superen una cantidad determinada. Creo que, además de una lista de control para implementar una EA, que proporciona conceptos importantes en los que pensar y abordar, una lista de control para decidir si implementar o no una EA también podría ser útil para proporcionar lo que hay que tener en cuenta a la hora de decidir si una EA es aplicable y/o factible.

Saludos cordiales, Amy

Querida Jackie,

Gracias por su mensaje. Nuestra lista de control de EA está disponible en la página 20 de las directrices Conducting and Using Evaluability Assessments in CGIAR: CGIAR Evaluation Guidelines | IAES | CGIAR Independent Advisory and Evaluation Services. Hay 14 preguntas básicas de un total de 40. El documento también está disponible en español.

Saludos cordiales,

Gaia Gullotta

[Translated from French original]

Estimada Amy

En primer lugar, me gustaría darte las gracias por iniciar esta reflexión y debate sobre un tema tan relevante como las evaluaciones de evaluabilidad (EA).

He tenido la oportunidad de participar en varios estudios de evaluabilidad (EA), entre ellos los realizados recientemente por el CGIAR, así como otros relativos a la labor de la FAO en materia de género y su objetivo estratégico de reducir la pobreza rural. Estas variadas experiencias me han convencido del gran valor de las EA, especialmente cuando se trata de abordar cuestiones complejas.

En estos contextos, en los que a menudo no está claro el alcance de la evaluación, el proceso de EA es esencial. Permite trazar las intervenciones clave, fomentando una reflexión evaluativa temprana en el equipo del programa. También proporciona una prueba concreta de la teoría del cambio, el marco de resultados y las herramientas de seguimiento y evaluación, y pone de manifiesto cualquier carencia en los recursos dedicados, incluido el presupuesto asignado a la propia evaluación.

La realización de EA en las fases iniciales del ciclo de intervención ha resultado especialmente acertada. Este enfoque fomenta una pausa reflexiva en las primeras fases de ejecución, lo que permite proponer ajustes y mejoras antes de que el programa haya avanzado demasiado. Esto puede generar un ahorro de recursos y aumentar las posibilidades de éxito.

Además, el proceso de EA brinda una excelente oportunidad para revisar y perfeccionar la teoría del cambio y el marco de resultados, ajustándolos a las realidades sobre el terreno y a las limitaciones presupuestarias. Así se garantiza que la evaluación siga siendo pertinente y viable a lo largo de la ejecución del programa.

Por último, la EA facilita el establecimiento de una relación temprana entre la oficina de evaluación y los responsables de la ejecución del programa, fomentando una colaboración y comunicación fluidas a lo largo de la evaluación. Las EA también ayudan a determinar el momento adecuado para la evaluación y el tipo de evaluación que mejor se adapta a la intervención.

En resumen, mi experiencia con las EA, tanto en el CGIAR como en otras organizaciones, pone de relieve su papel crucial a la hora de aclarar el alcance de la evaluación, reforzar el diseño del programa y garantizar la disponibilidad de recursos para una evaluación eficaz. Fomentan la colaboración temprana entre las partes interesadas y ayudan a definir el calendario y la naturaleza de la evaluación, garantizando su pertinencia y adecuación al contexto de la intervención.

[Traducido del original francés]

Estimada Amy

En primer lugar, me gustaría darte las gracias por iniciar esta reflexión y debate sobre un tema tan relevante como las evaluaciones de evaluabilidad (EA). Tu invitación a explorar este tema me ha dado mucho que pensar.

Los análisis de evaluabilidad son una poderosa herramienta para garantizar la calidad y utilidad de las evaluaciones. Ayudan a aclarar las expectativas, a identificar los posibles retos y a garantizar que las intervenciones se diseñen de forma que permitan una evaluación rigurosa y constructiva. Para maximizar su impacto, creo que sería crucial mejorar la comunicación sobre su valor añadido, formar a las partes interesadas sobre su utilidad y garantizar su integración sistemática en la planificación de las intervenciones, en particular las vinculadas a los ODS. De este modo, los análisis de evaluabilidad pueden contribuir significativamente a la mejora continua de los programas de desarrollo y a la consecución de los resultados esperados.

Espero con interés leer las reflexiones de otros miembros de la comunidad sobre este tema.

Atentamente

Jonas SAGNO

Sociólogo y Director de Programas y Movilización de Recursos en la ONG Gigantesq Connexion (Incubadora y Aceleradora de Proyectos centrados en el Desarrollo Sostenible)

[Traducido del original francés]

Estimados colegas,

He venido a participar en el debate. La evaluabilidad de un proyecto de desarrollo se establece automáticamente por la calidad del objetivo específico y de los resultados esperados del proyecto. La claridad y la precisión en estos dos niveles justifican ipso faco la evaluabilidad del proyecto. Por tanto, todo depende de cómo se plantee el proyecto. En consecuencia, no es necesaria una evaluación especial de la evaluabilidad. Con un objetivo SMART específico y unos resultados esperados, todo ello con indicadores claros y medibles, la evaluabilidad del proyecto está garantizada. El resto dependerá de la planificación y ejecución del seguimiento y la evaluación. Desde un punto de vista financiero, no conviene invertir más recursos en la evaluación de la evaluabilidad, dado que la financiación del seguimiento y la evaluación ha sido a menudo un reto importante. Por lo tanto, deberían movilizarse recursos para la aplicación eficaz y eficiente del seguimiento-evaluación de los proyectos.

Gracias por su apoyo.

Estimados colegas expertos de la evaluación. Con gusto suscribo que es importante realizar un análisis de evaluabilidad es fundamental no solo para la planificación y el seguimiento de la evaluación, además y particularmente importante para proyectar el alcance que la evaluación podría tener y manejar las expectativas de las personas interesadas. Resultado de una evaluación, se sugirió la adopción de pasos de evaluabilidad para el seguimiento del proyecto y asegurar las condiciones de evaluación externa, particularmente. Entonces si, se puede facilitar la distinción entre el análisis de evaluabilidad y los ejercicios de evaluación interna y externa, fortalecimiento los mecanismos para lograr el primero y preparar el segundo.

En el caso mencionado, no se contaban con todos los criterios incluidos en el diseño del instrumento para medir la evaluabilidad del proyecto y eso ocasionó algunas diferencias en opiniones relacionados con lo esperado de la evaluación entre las partes interesadas, particularmente entre el financiador y el evaluado. Se medio y lograron acuerdos y gracias a ello se pudo continuar el proceso evaluatorio.

El proyecto evaluado recibía financiamiento de organismos multilaterales por lo que si, es posible usar los resultados del AE en un evaluación y que ambos complementen información para medir las contribuciones a los ODS.

Hola a todos,

Estoy de acuerdo con el planteamiento de que la aplicación rígida de una herramienta, sea cual sea, probablemente no dé lugar a un resultado positivo. Puede tratarse de la aplicación rígida de las teorías del cambio, un enfoque demasiado utilizado que se ha convertido en sinónimo de «hacer» evaluación y que, sin embargo, sigue sin utilizarse en toda su extensión en la mayoría de los informes de evaluación que leo. O con la sobrevaloración de los ensayos controlados aleatorios (ECA) en función de intereses ideológicos. O con la aplicación rígida de los criterios del CAD de la OCDE basados en un paradigma esperado. Existen vías esperadas sobre lo que debe ser el «conocimiento» dentro de nuestro campo que contribuyen a esta rigidez, sobre todo cuando se aplican de forma mecanicista, y su uso excesivo puede, de hecho, perpetuar la naturaleza burocrática de nuestros sistemas establecidos. Estoy totalmente de acuerdo con los puntos planteados por Dahler-Larsen y Raimondo en Copenhague hace varios años en la EES.

Sin embargo, también creo que cualquier herramienta, como un análisis de evaluabilidad, no debe descartarse basándose en este mismo argumento. Creo que una línea de investigación más útil podría ser pensar en cuándo y cómo podrían ser más útiles las EA. En mi experiencia, las EA pueden ser una herramienta para romper con la evaluación mecanicista y los sistemas burocráticos -y sí, un intento de romper con la apropiación de la evaluación por parte de la dirección- mediante una mejor definición de un enfoque significativo y útil para una evaluación. O la decisión de no realizar una evaluación en función de sus resultados. Creo que el reto está en el nivel organizativo, con el inevitable intento de estandarizar y crear normas para su uso en las realidades complejas.

Saludos, Amy

Sólo intervengo, como Silva, para felicitar a Musta por su gran comentario. El aparente valor marginal y los elevados costes de oportunidad de las EA.

En la sociedad europea de evaluación de 2022, llamó la atención la nota inaugural de Estelle Raimondo y Peter Dahler-Larsen. Realizaron un interesante análisis sobre la aplicación indiscriminada y los rendimientos decrecientes de la práctica tardía a través de su uso «performativo».  Captura burocrática.

Algunos sostienen que las EA son la menor de las preocupaciones de la comunidad evaluadora actual.

La referencia de la presentación a cómo «....a veces, los organismos pueden reducir el riesgo para su reputación y obtener legitimidad por tener un sistema de evaluación en lugar de por utilizarlo» recuerda la analogía que el famoso clasicista y poeta AE Housman hizo en 1903:

«...los caballeros que utilizan los manuscritos como los borrachos utilizan las farolas, no para alumbrar su camino, sino para disimular su inestabilidad».

Ovación de pie, Musa. Estoy totalmente de acuerdo contigo.

Hoy en día, la mayoría de los proyectos ya están muy estructurados e incorporan todos los elementos que has mencionado, hasta el punto de encorsetarlos (¡pero ese es un debate para otro día!).

Si siguen surgiendo problemas importantes a pesar de estas importantes inversiones en seguimiento y evaluación, quizás debamos reevaluar nuestros planteamientos de gestión y seguimiento y evaluación en lugar de introducir otro proceso externo más.

Permítanme reiterar mi punto de vista: los recursos gastados en procesos de evaluabilidad -que simplemente descubren lagunas, que ya deberían ser evidentes- no son el uso más eficaz de nuestros limitados recursos de evaluación. Sería mejor invertir en el fortalecimiento de la capacidad organizativa y la localización de los esfuerzos de evaluación, en lugar de pagar continuamente a consultores externos.

O, en lugar de invertir continuamente en procesos que nos enjaulan aún más dentro de los mismos marcos, podríamos utilizar los recursos para garantizar que las evaluaciones y los procesos evaluativos estén adaptados, sean significativos y estén localizados, y no se limiten a ejercicios de «cortar y pegar» reciclando los mismos términos de referencia una y otra vez.

---

PPUNTO EXTRA: un giro impulsado por la Inteligencia Artificial (IA):

Le pedí a la IA que adoptara la postura de un defensor de la evaluación de la evaluabilidad y criticara mi respuesta. ¿Saben qué? Veo los puntos de la respuesta generada por la IA y soy consciente de que los defensores están motivados por aspiraciones fuertes y genuinas. Sin embargo, también veo hasta qué punto son aspiraciones. La realidad, como también se desprende de algunos mensajes de esta conversación, es que la evaluación de la evaluabilidad corre el riesgo de convertirse en una capa más de burocracia o de controles estrechos, en lugar de la herramienta transformadora a la que aspira. Y es probable que implique maniobras a corto plazo por parte de consultores externos. Es probable que no se invierta en el compromiso, la capacidad y el apoyo que supondría este enfoque ambicioso: si los proyectos no son evaluables, no suele haber una solución rápida que lo haga.  Llámenme pesimista, pero sigo siendo escéptico. Y tengo muchas ideas sobre dónde podría gastarse el dinero en su lugar.

[A continuación, la respuesta de AI a mi petición mencionada anteriormente].

«Aunque aprecio las preocupaciones planteadas sobre la posible redundancia de las evaluaciones de evaluabilidad (EA) en proyectos bien estructurados, creo que es importante tener en cuenta el valor único que aporta la EA, más allá de llenar las lagunas de los marcos de seguimiento y evaluación existentes.

En primer lugar, la EA es algo más que una lista de control o una auditoría de lo que ya debería estar en marcha; ofrece la oportunidad de probar rigurosamente la lógica y la viabilidad de un proyecto antes de que se gasten recursos importantes. Incluso con un marco lógico y de seguimiento y evaluación sólidos, a veces los proyectos pueden pasar por alto supuestos críticos o riesgos potenciales que sólo se ponen de manifiesto mediante un proceso de evaluabilidad específico. La EA ofrece una salvaguarda, garantizando que los proyectos estén realmente preparados para la evaluación y que los datos recopilados sean significativos y procesables.

Además, si bien es cierto que la mayoría de los proyectos actuales están muy estructurados, la complejidad y la escala de muchas intervenciones hacen que puedan surgir lagunas a pesar de los planes mejor trazados. La EA permite un examen centrado de estas posibles deficiencias, ofreciendo un enfoque proactivo para la resolución de problemas en lugar de esperar a que surjan durante la fase de evaluación. Esta actitud proactiva puede, en última instancia, ahorrar tiempo y recursos al identificar y abordar los problemas desde el principio, en lugar de luchar por solucionarlos a posteriori.

En cuanto a la inversión en consultores externos, cabe señalar que la EA también puede localizarse e integrarse en las capacidades existentes de las organizaciones. En lugar de considerar la EA como un proceso externo adicional, puede ser una oportunidad para desarrollar la capacidad interna y fomentar una cultura de mejora continua. Al integrar la evaluabilidad dentro de la organización, no sólo reducimos la dependencia de consultores externos, sino que también garantizamos que las evaluaciones estén adaptadas, matizadas y reflejen realmente el contexto del proyecto.

En conclusión, aunque el fortalecimiento de los sistemas de seguimiento y evaluación es indudablemente importante, la EA no debe descartarse por redundante o innecesaria. Por el contrario, debe considerarse una inversión estratégica para garantizar que las evaluaciones sean eficaces, pertinentes y capaces de aportar conocimientos reales que impulsen mejores resultados.»

Evaluación evaluativa: he oído hablar de ella recientemente. Aunque no he visto ningún informe concreto de Evaluación de Evaluabilidad (EA), a juzgar por lo que he leído, me resulta difícil aceptar la EA como un paso importante hacia una evaluación creíble. Un programa/proyecto con un marco lógico sólido y un marco de seguimiento y evaluación en el que los indicadores estén claramente definidos, con métodos de desagregación bien definidos, fuentes de datos, métodos de recopilación de datos, análisis, etc., todo ello definido antes de la ejecución. El proyecto ha implementado análisis de calidad de datos (DQA) a lo largo del mismo, para ser consciente de los problemas de calidad de los datos, y ha tomado medidas para mejorar la calidad de los datos. El proyecto/programa ha aplicado revisiones posteriores a la acción (AAR) y otras reflexiones para corregir lagunas.

En medio de todo esto, un marco de seguimiento y evaluación bien definido, un DQA coherente, etc. No creo que la EA sea importante, sino una forma inteligente de cubrir las lagunas que probablemente detecte el equipo de evaluación. No creo que sea la mejor manera de utilizar los fondos de los donantes. Prefiero reforzar el sistema de seguimiento y evaluación, que garantizará que el proyecto o programa sea evaluativo en todo momento, en lugar de destinar recursos a la realización de la EA y a la evaluación posterior. 

Hola a todos

Trabajé como Analista de Evaluación con el equipo de Evaluación de la Evaluabilidad en la realización de la Iniciativa Regional Integrada. Tuve tanto aprendizaje teórico (definición, usos e importancia de las Evaluaciones de Evaluabilidad) como experiencias prácticas de la tarea. El análisis de evaluabilidad se lleva a cabo para determinar si el programa o la cartera están listos para ser evaluados. También se utiliza para mejorar las organizaciones nacionales y la teoría del cambio del programa, así como el marco de seguimiento y evaluación. En las evaluaciones, creo que la igualdad de género y la inclusión son igualmente importantes para aportar diversos puntos de datos. En este ejercicio de evaluación de la evaluabilidad, hemos incluido la tasa de participantes masculinos y femeninos de las entrevistas y encuestas. 

Estimado equipo,

             La evaluación de la evaluabilidad o de la preparación para la evaluación tiene que ver más con la capacidad de la organización para supervisar y evaluar una intervención. Evaluar lo siguiente

1. La oficina de seguimiento y evaluación (S&E) de la organización

2. Personal de seguimiento y evaluación de la organización

3. Capacidad del personal de S&E (formación y aptitudes)

4. Política y marco de S&E de la organización

5. 6. Conocimiento y uso de M&E por parte de la dirección

Aquí hay 10 puntos a considerar.

Hay que fijarse en el tipo de proyecto, si es humanitario o de desarrollo. Creo que todos los proyectos deben ser supervisados y evaluados, pero la cuestión en la evaluación de la evaluabilidad es: ¿tiene el equipo la capacidad y los procesos suficientes para realizar evaluaciones oportunas y útiles?

Saludos cordiales 

Querida Jackie,

Muy buena pregunta,

En las intervenciones humanitarias, tanto en las de respuesta inmediata como en las de respuesta rápida de primera línea, cuando los beneficiarios están en movimiento y no es probable que se les vuelva a encontrar, realizamos un cuestionario rápido para recopilar algunos datos sobre el terreno, para su revisión posterior. También en las respuestas a corto plazo en intervenciones humanitarias, las encuestas de seguimiento posteriores a la distribución se consideran una intervención de seguimiento y evaluación suficientemente buena, para captar la perspectiva de los participantes y garantizar la rendición de cuentas a la población afectada y los aspectos de protección.

Alguien puede argumentar que, en este tipo de respuestas, no realizamos una «evaluación de proyecto» propiamente dicha, sino más bien una autoevaluación para identificar posibles éxitos y lecciones aprendidas para futuras intervenciones.

Con profundo respeto,

Ayman Ramsis 
+201006712846

Hola de nuevo...

¿La evaluabilidad consiste realmente en comprobar
'¿Pueden cumplirse los requisitos de gestión?
¿Comprender qué enfoque de evaluación es el adecuado para el proyecto y su contexto?
Me he dado cuenta de que esta tendencia a utilizar la evaluabilidad como una valoración descendente
resurge una y otra vez

reduciendo aún más el alcance de la evaluación en lugar de ampliarlo.

Hola, Jackie.

Si estás dispuesta a considerar que la evaluación consiste en determinar en qué medida una política determinada, su estrategia de aplicación, su puesta en práctica y su actividad sobre el terreno han conseguido mejorar la calidad de vida de un grupo destinatario, entonces tu pregunta tiene una respuesta sencilla. Dicho de otro modo, el problema consiste en determinar si el producto final físico de lo anterior, por ejemplo, una carretera, un hospital, una escuela, apoyo a la agricultura, etc., ha beneficiado realmente a un grupo de personas.

Por lo tanto, el éxito de una acción que debe evaluarse no puede medirse por la excelencia técnica de tales productos finales, algunos de los cuales pueden ser intangibles a primera vista, por ejemplo, una política. Para evaluar el éxito o el fracaso de una política, hay que determinar en qué medida ha beneficiado a un grupo destinatario.

Es aquí donde uno se topa con una serie de dificultades:

• ¿Está dispuesta la mayoría de un grupo destinatario a _utilizar_ el producto final de un proyecto? Si no es así, una carretera excelente, un hospital, etc., pueden servir para el fin previsto, pero no beneficiarían a la población. Las normas culturales y ciertos tipos de intereses creados pueden suscitar una opinión pública contraria, lo que convertiría el producto final en inútil. Estas situaciones son muy difíciles de identificar y, por tanto, de evaluar.
   
• El grupo destinatario puede ser incapaz de hacer un uso adecuado de un producto final debido a que la mayoría del grupo destinatario es incompetente para hacerlo. La falta de formación pertinente, su olvido en los planes del proyecto, etc., son las principales causas de ello. La evaluación no parece tener en cuenta la importancia de que el grupo destinatario posea esta competencia.

Saludos cordiales.

Lal.

Hola Jackie,

No estoy segura de haber visto una lista de control (aunque sería estupendo), pero normalmente depende del tipo de evaluación que se solicite y de si se dispone del tipo de información. Por ejemplo, si el cliente desea una evaluación del proceso, pero no está dispuesto a que el evaluador realice entrevistas o grupos de discusión, eso podría ser un problema.

Los principales puntos que yo tendría en cuenta son si la información/participación está disponible para satisfacer (1) el tipo de evaluación solicitada (2) los requisitos contractuales (3) las necesidades éticas (4) el presupuesto/los recursos asignados.

Espero que esto te ayude.

Saludos,
Lizzy

Muchas gracias, Jindra, por compartir tu experiencia y los útiles enlaces que figuran a continuación. He leído con interés tu lista de control de los análisis de evaluabilidad para las evaluaciones ex ante. Tu experiencia de que muy pocos programas disponen de datos suficientes me resuena. Me interesaría saber si reflexionas sobre la recepción y el uso de los resultados de la EA por parte de los interesados, basándote en tu experiencia (pregunta 3).

Saludos cordiales, Amy

Hola a todos,

Gracias por compartir su experiencia sobre las evaluaciones de evaluabilidad. Me interesaría saber qué hace que un programa sea "no evaluable". ¿Existe alguna lista de control al respecto?

Saludos cordiales,

Jackie

Todos, es así, como dijo Gaia: "Las evaluaciones de evaluabilidad valoran específicamente si un proyecto está listo para ser evaluado. Esto incluye revisar la claridad y mensurabilidad de los objetivos, la solidez de los planes de recopilación de datos, la disponibilidad de datos de referencia, etc.". Me asombra la cantidad de proyectos de todo el espectro del desarrollo que no se pueden evaluar (gracias a las evaluaciones de evaluabilidad que nos lo muestran), lo que supone una debacle de datos evitable. Por ejemplo, en 2022 compartimos nuestro proceso de evaluación ex post y 4 estudios de caso en el Fondo de Adaptación (en inglés). En la diapositiva 8, observamos que sólo el 20% de los proyectos eran evaluables en base a los criterios que establecimos, que incluían estar cerrados al menos 3 años pero no más de 7, que hubiera buenos datos para evaluar (viabilidad metodológica), y que ofreciera oportunidades de aprendizaje entre sectores/geografías, etc.

Cordialmente, Jindra

Hola a todos

Me gustaría añadir algo al importante punto de Svetlana: "es importante señalar que no todos los contextos son iguales y que no se puede asumir un nivel de preparación incuestionable para una evaluación en cualquier tipo y tamaño de intervención en cualquier contexto. En los contextos en evolución, es posible que algunos aspectos no se prioricen a tiempo y para satisfacer las necesidades de todos los implicados".
Creo que este es especialmente el caso de los intereses de las partes interesadas en una evaluación: lo que quieren saber y lo que les preocupa. Es muy probable que éstos cambien con el tiempo. 

Estimados todos,

Estoy muy contenta de haber formado parte del equipo para la Evaluación de Evaluabilidad de las cuatro Iniciativas Regionales Integradas del CGIAR. Ha sido una valiosa experiencia de aprendizaje, que ha revelado tanto los puntos fuertes como los retos de utilizar el marco de las Evaluaciones de Evaluabilidad por primera vez, en particular a la hora de entender la evaluabilidad y la participación de las partes interesadas.

Muchas gracias, Hadera, por tu publicación. Te agradezco que hayas sacado a relucir esta importante cuestión. Estoy de acuerdo en que las prácticas de Gestión del Ciclo del Proyecto (GCP) son esenciales, pero no hacen que las Evaluaciones de Evaluabilidad independientes sean redundantes. Los análisis de evaluabilidad complementan la GCP al proporcionar una valoración específica, independiente y detallada de la evaluabilidad de un proyecto, mejorando así la calidad general del proyecto, la rendición de cuentas y la probabilidad de éxito.

De hecho, en las evaluaciones de evaluabilidad participan evaluadores externos que aportan una perspectiva imparcial. Esta evaluación independiente puede identificar problemas potenciales que los interesados internos podrían pasar por alto debido a su familiaridad o a sus intereses en el éxito del proyecto.

Además, los estudios de evaluabilidad independientes determinan específicamente si un proyecto está listo para ser evaluado. Esto incluye revisar la claridad y mensurabilidad de los objetivos, la solidez de los planes de recopilación de datos, la disponibilidad de datos de referencia, etc. Es posible que estos elementos no se analicen a fondo durante las fases ordinarias de GCP.

Por último, basándonos en nuestra experiencia con evaluaciones anteriores, una cuestión importante es la calidad de los datos. De hecho, a menudo ha sido necesario realizar una limpieza exhaustiva de los datos, lo que ha requerido tiempo y recursos adicionales. Esto podría preverse y evitarse mediante una evaluación de la evaluabilidad.

Gracias y saludos cordiales,

Gaia Gullotta

Estimados colegas, 

Es emocionante ver un debate tan perspicaz y apasionado. Represento a la función de evaluación del GCIAI y hemos desarrollado e implementado Evaluaciones de Evaluabilidad con Amy bajo el asesoramiento de Rick Davies. En el blog se resumen las razones para llevar a cabo evaluaciones de evaluabilidad en el GCIAI. Como complemento y en respuesta a algunas cuestiones planteadas aquí, es importante señalar que no todos los contextos son iguales y que no se puede asumir un nivel de preparación incuestionable para una evaluación en cualquier tipo y tamaño de intervención en cualquier contexto. En los contextos en evolución, es posible que algunos aspectos no se prioricen a tiempo y para satisfacer las necesidades de todos los implicados. Las Evaluaciones de Evaluabilidad, por tanto, ya nos han acercado un paso más para facilitar el aprendizaje y garantizar que los mecanismos de rendición de cuentas, incluso se le puede llamar una línea de base evaluativa, estén en marcha antes de que una intervención se ponga en marcha o progrese demasiado. Los análisis de evaluabilidad han ayudado a generar confianza entre las partes interesadas, incluidos los profesionales del seguimiento, la evaluación y el aprendizaje (a menudo desprovistos de poder) y los financiadores, en que las metas y los objetivos a los que se aspira no sólo son factibles de aplicar y medir, sino también en que los colegas del seguimiento, la evaluación y el aprendizaje son una parte interesada clave para nosotros y para conciliar la rendición de cuentas y la transparencia con quienes financian. Las EA han contribuido a aumentar el sentido de propiedad y la credibilidad de los procesos y los resultados, por lo que pueden ser cruciales para garantizar la financiación y el apoyo. Al recomendar a los financiadores el calendario y el alcance de la evaluación, pueden establecerse adecuadamente las expectativas, así como el nivel en que puede financiarse la evaluación, para establecer expectativas sobre la profundidad de la investigación y el aprendizaje evaluativo. 

Gracias a todos por vuestras opiniones.

En mi opinión, la evaluación de la evaluabilidad es importante para la teoría del cambio.

Es una forma de reevaluar y comprobar el proceso de evaluación para verificar si los resultados son creíbles, aceptables, fiables y coherentes con lo que se esperaba.

Gracias.

Norbert TCHOUAFFE, PhD

Muy querida Amy,

Gracias por tomarte tu tiempo para leer y responder.

Mis disculpas, pero permítanme ser conciso y honesto.....

Muchas gracias por explicar lo que escribió el Sr. Scriven. Ahora lo entiendo. Dicho esto, sigo sin entender la importancia y el significado de lo que escribió. Maternidad y tarta de manzana, tan inteligente pero un poco escaso 😉 .

En cuanto a las propias evaluaciones de evaluabilidad, y como ya he mencionado, el objetivo y el alcance de la investigación de una EE parecen formar parte de lo que la mayoría de la gente denominaría una evaluación o valoración ex ante competente. Como usted dice, es fantástico contar con un evaluador o dos en el equipo, pero... ¿Cómo no examinar la "evaluabilidad" de la inversión valorándola y el razonamiento probatorio que informa su justificación y los factores de diseño, incluidos los TdC y/o un marco de resultados?  ¿O estamos diciendo que una valoración que recomienda que una inversión no merece la pena puede considerarse evaluable o, de hecho, viceversa (suponiendo que la evaluacion de evaluabilidad se realice después de la valoración)?

Así pues, y como señala Hadera, el valor incremental generado por la realización de una EE discreta -algunos dirían artificiosa- únicamente por parte de los evaluadores parece marginal en el mejor de los casos, fragmenta potencialmente al equipo y da la impresión de ser bastante extravagante e indulgente.  

Muchas gracias por este artículo y por los debates que han suscitado preguntas, debates, escepticismo y dudas sobre las evaluaciones de evaluabilidad.  

Con mis mejores deseos,

Daniel      

Gracias Amy por abordar este tema. También doy las gracias a la Oficina de Evaluación del CGIAR por desarrollar un marco de evaluación de la evaluabilidad para su uso.

A mi entender, si la gestión del ciclo de un proyecto determinado se lleva a cabo eficazmente, los beneficios previstos de la evaluación de la evaluabilidad están incorporados en la gestión del ciclo del proyecto.  Por tanto, todos esos proyectos son evaluables.  No veo la necesidad de una evaluación de evaluabilidad independiente.  Por lo general, los proyectos se financian después de pasar por varias fases de validación por parte de los interesados para garantizar su viabilidad, una ejecución sin problemas y la consecución de los resultados e impactos previstos.  Estas fases/pasos incluyen, a nuestro entender: identificación del problema; estudio de viabilidad; análisis de las partes interesadas; conceptualización inicial; planificación del proyecto; plan de ejecución; plan de evaluación y seguimiento. Además, los proyectos se evalúan antes de su ejecución. Por último, durante la ejecución, entre otras cosas, se efectúa un seguimiento y se presentan informes oportunos y periódicos, que se comunican a las principales partes interesadas, con el objetivo de garantizar y comprobar que los proyectos se ejecutan correctamente y, en caso contrario, adoptar las medidas correctivas oportunas. En conclusión, dadas las actuales limitaciones financieras para financiar proyectos, de las que se ha informado ampliamente, ¿por qué necesitamos realizar evaluaciones de evaluabilidad independientes, si se emplea una gestión del ciclo del proyecto sólida/eficaz/contemporánea/informada y se informa adecuadamente a los proyectos? 
 

Atentamente,

Hadera Gebru

Estimados todos,

Gracias por vuestra participación activa y vuestros comentarios. Los estoy leyendo y reflexionando a medida que llegan. Responderé ahora a Dreni-Mi y a Daniel, y espero con impaciencia la continuación del debate. 

Estimado Dreni-Mi,

Muchas gracias por tu comentario. Has ofrecido una buena visión general de las distintas fases de un análisis de evaluabilidad, una justificación de su aplicación y sus ventajas. En la bibliografía sobre evaluación se describen varias fases de los análisis de evaluabilidad, todas ellas relacionadas en cierta medida, pero que hacen hincapié en aspectos o valores diferentes y con una categorización ligeramente distinta. Me vienen a la mente las 8 etapas de Wholey, así como las 4 etapas de Trevisan y Walser. Creo que su énfasis en la rentabilidad y la preparación para una evaluación de calidad resuena en todos los enfoques.

Uno de los aprendizajes que obtuvimos el año pasado al realizar los análisis de evaluabilidad en el CGIAR fue el valor de un marco (lista de comprobación) para su uso y también la necesidad de ser flexibles en su aplicación. La lógica del rompecabezas de los análisis de evaluabilidad que Rick Davies compartió en otro artículo me parece especialmente útil para concebir los análisis de evaluabilidad como un medio de reunir las distintas piezas en un enfoque que se adapte mejor a un determinado contexto. Definir claramente los objetivos de un análisis de evaluabilidad y responder a necesidades específicas conduce a un uso más eficaz del marco, aportando más flexibilidad y matices al proceso.

De las etapas clave que ha descrito, ¿cuál le ha resultado más difícil de aplicar? ¿Cuál es su experiencia con el uso de los resultados de la evaluación de la evaluabilidad?

Saludos cordiales,

Amy

Estimado Daniel,

Muchas gracias por tus comentarios. Responderé a algunos. Estoy totalmente de acuerdo en que los evaluadores deben sentarse a la mesa de diseño. Según mi experiencia, su participación y capacidad para facilitar la reflexión evaluativa entre colegas suele contribuir a una mayor evaluabilidad de una intervención. También puede facilitar el desarrollo de una sólida planificación del seguimiento y la evaluación, así como la capacidad de utilizar y aprender de los datos generados por estos procesos. Esta función amplía lo que se suele entender, en algunos círculos al menos, de lo que son y lo que hacen los evaluadores, lo que me gusta mucho en términos de apoyo a una mayor profesionalización de nuestro campo.

En su 3ª edición de Evaluation Thesaurus, Michael Scriven hace referencia al concepto de "falsabilidad" del filósofo Karl Popper al hablar de la evaluabilidad. Este concepto se refiere a la idea de que siempre debe existir la posibilidad de demostrar que una teoría, hipótesis o afirmación es errónea. Para que un evaluando (definición de Scriven de lo que debe evaluarse: un programa, proyecto, personal, política, etc.) sea evaluable, entiendo que, en general, se consideraría falsable en la medida en que se diseñe, desarrolle o construya de forma que puedan generarse pruebas de su valor.

La connotación religiosa de la referencia de Scriven a un primer mandamiento ciertamente pretende dar importancia al concepto. La evaluabilidad como "el primer mandamiento en la rendición de cuentas" me impresiona como algo que se debe, una justificación y, en última instancia, una responsabilidad. Scriven señala que la baja evaluabilidad tiene un alto precio en términos de coste soportado. "No se puede aprender por ensayo y error si no hay una forma clara de identificar los errores". Y "No basta con que uno sea capaz de explicar cómo se ha gastado el dinero, sino que también se espera que sea capaz de justificarlo en función de los resultados obtenidos" (p. 1).

Creo que Scriven ofrece más información sobre la evaluabilidad en su 4ª edición. Estoy de viaje y no tengo acceso a mi biblioteca de casa. Quizá otros puedan aportar más información al respecto.

¿Alguna idea?

Estoy de acuerdo contigo [contribución de Rick Davies más abajo] en muchas cosas, y sí, es clave tener una visión realista de lo que una evaluación debe y puede hacer.

1.

Estoy de acuerdo. Y demasiadas evaluaciones van con el piloto automático (es decir, cortar y pegar una plantilla con pequeñas adaptaciones al final del proyecto). Sin duda, acojo con satisfacción la evaluabilidad como una oportunidad para ampliar las posibilidades, como sugerir evaluaciones en tiempo real, promover enfoques participativos o destacar cuestiones importantes que deben abordarse o prioridades que hay que atender. Pero seamos realistas: la mayoría de los documentos de evaluabilidad que he visto comprueban si el programa ha recogido indicadores preestablecidos en un marco lógico/teoría del cambio acordado y exigen comprobar qué criterios OCDE⁄DAC pueden evaluarse. La Agencia Austriaca de Desarrollo tiene puntos interesantes sobre la utilidad de la evaluación tal y como la perciben las diferentes partes interesadas - pero luego falta el anexo :-( (¿todavía es un documento de trabajo?)  

Sueño con un documento de evaluabilidad que ofrezca un catálogo de posibilidades en lugar de limitarse a los enfoques convencionales. Debería sugerir que es posible una evaluación del desarrollo, por ejemplo, en lugar de pedir teorías del cambio preestablecidas. De lo contrario, la evaluabilidad ahogará la innovación en lugar de promoverla.

2. 

Por supuesto, debemos gastar los recursos de evaluación con sensatez. Y, por supuesto, un buen análisis de evaluabilidad puede dar lugar a evaluaciones más eficientes (y muchos gestores de evaluación ya son buenos en eso).

Pensando en la relación coste-eficacia.... ¿realmente podemos justificar gastar mucho dinero para entender sólo si un programa puede evaluarse sin aportar ningún aprendizaje adicional? No lo descarto, y sí, puede ser útil.

Pero, en el caso de los programas adecuados, es posible realizar una evaluación por fases en la que la primera valore el programa y aporte algún aprendizaje preliminar mientras se comprenden las mejores opciones para las fases siguientes. Por supuesto, se necesita un evaluador o un equipo que conozca diferentes metodologías, sea adaptable y esté cerca de la dirección, pero es muy posible hacerlo. Una evaluación por fases no siempre será adecuada, pero es una posibilidad real que puede quedar eclipsada por los enfoques convencionales de evaluabilidad.

3.

Como he escrito antes, la lista de control confirma una concepción muy convencional de un programa. Reitero aquí que trabajé en programas que no tenían un marco lógico, ni establecían indicadores y líneas de base (piénsese, por ejemplo, en modelos de trabajo en evolución), y en los que la evaluación ayudó a sistematizar enfoques. Esos programas sencillamente no habrían pasado las listas de control propuestas. Y en qué medida podrían haber llegado a partes interesadas importantes que sólo se identificaron a través de la bola de nieve.  Sí. Me refiero a casos especiales, ya que suelo trabajar más a nivel de base y en proyectos innovadores. Pero estos son los que corren más riesgo de pasar desapercibidos para una interpretación convencional de la evaluabilidad.

 Así que veo cómo la evaluabilidad, tal y como está, puede funcionar para proyectos grandes y relativamente estandarizados. Pero tal y como está ahora, aún se queda corta para convertirse en una posibilidad de enfoques novedosos y de liberar ideas y posibilidades, algo que nuestro sector necesita urgentemente.

Buenos días, Amy,

Gracias por iniciar este valioso intercambio. Me gustaría compartir mi experiencia en la evaluación de la evaluabilidad de los programas de la FAO. Por lo general, el objetivo ha sido determinar si se está preparado para evaluar el trabajo de la FAO en un área determinada y/o informar la toma de decisiones sobre los planes de evaluación de la FAO.

Por ejemplo, el análisis de evaluabilidad del programa de reducción de la pobreza rural de la FAO (disponible en https://openknowledge.fao.org/server/api/core/bitstreams/161ba76c-daea-...) fue decisivo para determinar qué componentes del programa de la FAO eran viables y merecían ser evaluados para obtener resultados. Con este objetivo en mente, el análisis de evaluabilidad examinó la claridad de la lógica del programa y el grado de realización de las actividades previstas y de utilización de los recursos, y dio lugar a propuestas sobre el alcance, el enfoque, el diseño metodológico y el plan de trabajo de la evaluación.

Más recientemente, utilizamos los análisis de evaluabilidad para decidir qué evaluaciones realizar y definir su alcance, objetivos y enfoque. Esta evolución está en consonancia con nuestra estrategia a medio plazo que pretende garantizar que la La Oficina de Evaluación produzca evaluaciones de alta calidad que satisfagan las necesidades de las partes interesadas de la FAO (https://www.fao.org/evaluation/highlights/detail/fao-evaluation-strateg...)  

Saludos cordiales

Carlos

Estimada Amy,

Muchas gracias por plantear esta cuestión, que tiene tanto el potencial de hacer mucho bien como su contrario.

Mi punto de partida con respecto a la evaluación es muy sencillo: ¿se ha podido/puede alcanzar un conjunto de acciones destinadas a mejorar la vida de un grupo destinatario?

Si la respuesta a esta pregunta es no/marginalmente/parcialmente, el conjunto de acciones emprendidas es de algún modo defectuoso. Sin embargo, tales acciones insatisfactorias pueden dejar tras de sí excelentes autopistas, hospitales especializados, puentes, aeropuertos internacionales, etc.

La evaluabilidad del grado de consecución de algún bien público es extremadamente difícil. Cuando se deciden proyectos, es decir, un conjunto de acciones, rara vez se consulta de manera significativa los deseos reales de un grupo destinatario. E incluso cuando existe un acuerdo general en un grupo destinatario sobre la conveniencia de un objetivo, puede haber desacuerdo sobre cómo puede alcanzarse ese objetivo. A menudo, esto se debe a las normas culturales dominantes en ese grupo social o a la influencia de algún interés creado externo experto en propaganda.

Si el evaluador está dispuesto y es capaz de identificar y calibrar el alcance y la naturaleza de esas tres variables durante la ejecución y la conclusión de un proyecto, es posible emprender ajustes correctivos en el mismo para aumentar su éxito. Es cierto que es difícil, pero si se emprende, al final se beneficiaría a un grupo de personas vivas que no son ni tienen necesidades.

Salud.

Lal.

Estimada Amy,

Gracias por publicar. Recuerdo bien haber leído la Síntesis de la Literatura de Rick D allá por 2013. Tuve cuatro observaciones:

1. Rick dice: "Muchos problemas de evaluabilidad tienen su origen en un diseño deficiente de los proyectos. Algunos de ellos pueden abordarse mediante la participación de evaluadores en la fase de diseño, a través de controles de evaluabilidad o de otro tipo".  Una gran observación. Con demasiada frecuencia, las teorías del cambio o los marcos de resultados se elaboran sin un análisis suficientemente decente de los problemas;
2. Cualquier persona competente sería capaz de detectarlos y recomendar mejoras de la coherencia y la validez de lo que se va a evaluar. El Sr. Quinn Patton ha reintroducido provechosamente este tipo de valoración mediante la evaluación del desarrollo. En este contexto, habría que cuestionar la necesidad de una evaluación especial o separada de la evaluabilidad;  
3. ¿Qué pasa con el seguimiento? - Es decir, la participación de la dirección en el diseño y la ejecución. La perspectiva del evaluador y las necesidades de información de éste y de los donantes no son más que una cosa. La gestión y la evaluación sirven a objetivos diferentes, responden a preguntas diferentes en momentos diferentes y tienen requisitos diferentes para el análisis comparativo.
4. Si los resultados -productos, efectos e impactos- de la entidad que se evalúa no son relevantes para los necesitados -en contraposición a los que están en el poder-, entonces poco importa que pueda evaluarse o incluso aprobarse en primer lugar. ¿No? Una obviedad, lo sé.

Por último, un poco de ayuda: Usted citó a Michael Scriven diciendo: "La evaluabilidad es análoga a la exigencia de mantenimiento en un coche nuevo y puede considerarse como "el primer mandamiento de la responsabilidad". Sé que debe de ser un dicho importante, pero no lo entiendo ni comprendo su importancia. ¿Qué crees que quiere decir?

Un saludo y gracias de nuevo,

Daniel 

Hola Silva

Permíteme abordar algunos de tus puntos

1. «Todos los proyectos pueden y deben ser evaluados»

            Sí, pero ¿CUÁNDO? Los retrasos recomendados por la EA pueden dar tiempo a que se resuelvan los problemas relacionados con los datos, la teoría y las partes interesadas y, por tanto, dar lugar a una evaluación más útil.

             Sí, pero ¿CÓMO? Los enfoques deben ser proporcionales a los recursos, las capacidades y el contexto. Las EA pueden ayudar en este sentido

2. Re «Algunos diseños de proyectos son manifiestamente inevaluables, y algunos marcos de M&E son manifiestamente inadecuados a primera vista.» y su comentario de que.. «Estamos confundiendo la documentación del proyecto con la realidad del trabajo».

           Sería una posición extrema argumentar que no habrá casos de buenas prácticas (como quiera que se definan) sobre el terreno en tales circunstancias (es decir, cuando hay diseños deficientes y marcos de seguimiento y evaluación deficientes).

           Pero sería igualmente extremo sostener lo contrario, que el estado del diseño y la disponibilidad de datos no tienen relación alguna con los resultados sobre el terreno. Si se adopta esa postura, la decisión de evaluar es efectivamente una apuesta con el tiempo y los recursos de alguien.

          En algún momento alguien tiene que decidir cuánto dinero gastar, cuándo y cómo. Las EA pueden ayudar a tomar esas decisiones

3. Re «¿Puede evaluarse el programa con una caja de herramientas estándar?» (que es en lo que corre el riesgo de convertirse la evaluabilidad) »

            Me gustaría ver alguna prueba de esta afirmación.

           Como contraprueba, al menos de la intención, le remito a este diagrama, de la guía de EA de la Agencia Austriaca de Desarrollo, y a la referencia a la naturaleza de rompecabezas de una EA, en el sentido de tener que encajar las diferentes necesidades y capacidades, en lugar de seguir cualquier modelo.

saludos, rick

El problema que tengo con la «evaluabilidad» es que todos los programas pueden (y deben) evaluarse.

Algunos programas se prestan a enfoques más «rigurosos» y convencionales, mientras que otros, debido a su complejidad inherente, requieren metodologías diferentes.

Estos enfoques alternativos pueden ayudar a comprender dinámicas que antes no existían... lo cual es BUENO. No todos los programas necesitan un formato previo. Esto puede ser especialmente beneficioso para los programas participativos e innovadores/adaptativos que necesitan determinar el mejor camino a seguir a medida que avanzan.

Es crucial que no utilicemos la evaluabilidad como otro ladrillo en el muro para hacer que las evaluaciones se limiten al cumplimiento de los resultados o a un proceso más barato de investigación estándar aplicado a teorías arbitrarias del cambio.
Por el contrario, debemos reclamar la evaluación como una oportunidad para valorar los cambios de forma coherente con la intención y el contexto del programa. Así que la pregunta no es «¿Puede evaluarse el programa con una caja de herramientas estándar?» (que es en lo que corre el riesgo de convertirse la evaluabilidad) sino «¿Qué enfoque evaluativo se adapta mejor a este contexto?».

Cuando leo: «*Algunos diseños de proyectos son manifiestamente no evaluables, y algunos marcos de SyE son manifiestamente inadecuados a primera vista. En estas circunstancias, no se necesitaría un análisis de evaluabilidad para decidir si seguir adelante con una evaluación. Los esfuerzos deben centrarse en las tareas más inmediatas de mejorar el diseño del proyecto y/o el marco de seguimiento y evaluación*"(https://www.betterevaluation.org/methods-approaches/themes/evaluability…).
Tengo muchas ganas de llorar....

Estamos confundiendo la documentación del proyecto con la realidad del trabajo. En mi experiencia, muchos proyectos tenían logogramas o teorías del cambio incompletos, y sin embargo eran estupendos. La evaluación ayudó a sistematizarlos y a desgranar el aprendizaje y el valor.Si seguimos fijándonos sólo en lo que está preformateado, perdemos la oportunidad de una transformación real.

Hola Amy y a todos,

Para responder a la pregunta 2 sobre cómo facilitar el uso de los análisis de evaluabilidad, me parece útil hacer un análisis de evaluabilidad sin llamarlo análisis de evaluabilidad, dada la política de la «evaluabilidad». Lo conceptualizo como una actividad para preparar los programas para la evaluación más que para determinar la «evaluabilidad». Esto significa asegurarse de que los vínculos en la teoría del cambio del programa son lógicos, que los resultados propuestos son posibles, etc. Este enfoque de la evaluación de la evaluabilidad es más bien un proceso integrado en la planificación y evaluación de programas en general y, como tal, no suele dar lugar a un resultado independiente.

Hace unos años, mi colega y yo revisamos marcos de evaluabilidad y estudios de casos, que podrían aportar más información sobre otras lagunas y oportunidades.

Lam S, Skinner K. (2021). The use of evaluability assessments in improving future evaluations: a scoping review of 10 years of literature (2008-2018). American Journal of Evaluation. 42(4): 523-540.

Best,

Steven

[Publicado originalmente en francés]

¡Hola queridos amigos y colegas de Eval Forward!

Como estamos en un proceso de aprendizaje, me gustaría compartir algunos puntos de mi investigación para ayudarnos a entender la evaluación de la evaluabilidad.

Valorar la evaluabilidad: un paso crucial antes de cualquier evaluación

El análisis de evaluabilidad es un proceso cuyo objetivo es determinar si la evaluación de un programa, proyecto o política es factible y pertinente. En otras palabras, consiste en comprobar si se dan las condiciones adecuadas para llevar a cabo una evaluación de alta calidad y obtener resultados fiables y útiles.

¿Por qué es importante?

• Ahorra tiempo y recursos: Al identificar de antemano los posibles obstáculos, puede evitar poner en marcha una evaluación que no producirá los resultados esperados.
• Mejorar la calidad de la evaluación: Al aclarar los objetivos, las preguntas de investigación y los datos disponibles, aumentan las posibilidades de obtener resultados sólidos y pertinentes.
• Aumentar la credibilidad de la evaluación: Al demostrar que la evaluación se ha diseñado de forma rigurosa, se refuerza la confianza de los responsables de la toma de decisiones y otras partes interesadas.

Etapas clave del análisis de evaluabilidad

1. Definición de los objetivos de la evaluación: ¿Qué cambios queremos medir?
2. Identificación de las preguntas de investigación: ¿Cuáles son las preguntas a las que debe responder la evaluación?
3. Análisis del contexto: ¿Cuál es el contexto de aplicación del programa? ¿Qué factores externos podrían influir en los resultados?
4. Evaluación de los datos disponibles: ¿Qué datos existentes pueden utilizarse para responder a las preguntas de la investigación? ¿Son suficientes y de buena calidad?
5. Identificación de limitaciones y retos: ¿Cuáles son los obstáculos potenciales para llevar a cabo la evaluación (por ejemplo, falta de recursos, dificultades para acceder a los datos, etc.)?
6. Plan de evaluación propuesto: Si la evaluación se considera viable, se puede elaborar un plan detallado que incluya la metodología, el calendario y los recursos necesarios.

Ventajas de evaluar la evaluabilidad

• Mejor comprensión del programa: La evaluación de la evaluabilidad permite comprender mejor el programa, sus objetivos y su funcionamiento.
• Mejor diseño del programa: Los resultados de un análisis de evaluabilidad pueden ayudar a mejorar el diseño del programa y hacerlo más eficaz.
• Mejor uso de los recursos: Al evitar evaluaciones innecesarias o mal diseñadas, los recursos pueden utilizarse de forma más eficiente.

En resumen, el análisis de evaluabilidad es una herramienta esencial para garantizar la calidad y pertinencia de las evaluaciones. Asegura que los recursos invertidos en evaluación se utilicen de forma óptima y que los resultados obtenidos sean útiles para mejorar las políticas y los programas.

Muchas gracias

Dreni-Mi de Chad