Gracias por vuestra participación activa y vuestros comentarios. Los estoy leyendo y reflexionando a medida que llegan. Responderé ahora a Dreni-Mi y a Daniel, y espero con impaciencia la continuación del debate.
Estimado Dreni-Mi,
Muchas gracias por tu comentario. Has ofrecido una buena visión general de las distintas fases de un análisis de evaluabilidad, una justificación de su aplicación y sus ventajas. En la bibliografía sobre evaluación se describen varias fases de los análisis de evaluabilidad, todas ellas relacionadas en cierta medida, pero que hacen hincapié en aspectos o valores diferentes y con una categorización ligeramente distinta. Me vienen a la mente las 8 etapas de Wholey, así como las 4 etapas de Trevisan y Walser. Creo que su énfasis en la rentabilidad y la preparación para una evaluación de calidad resuena en todos los enfoques.
Uno de los aprendizajes que obtuvimos el año pasado al realizar los análisis de evaluabilidad en el CGIAR fue el valor de un marco (lista de comprobación) para su uso y también la necesidad de ser flexibles en su aplicación. La lógica del rompecabezas de los análisis de evaluabilidad que Rick Davies compartió en otro artículo me parece especialmente útil para concebir los análisis de evaluabilidad como un medio de reunir las distintas piezas en un enfoque que se adapte mejor a un determinado contexto. Definir claramente los objetivos de un análisis de evaluabilidad y responder a necesidades específicas conduce a un uso más eficaz del marco, aportando más flexibilidad y matices al proceso.
De las etapas clave que ha descrito, ¿cuál le ha resultado más difícil de aplicar? ¿Cuál es su experiencia con el uso de los resultados de la evaluación de la evaluabilidad?
Saludos cordiales,
Amy
Estimado Daniel,
Muchas gracias por tus comentarios. Responderé a algunos. Estoy totalmente de acuerdo en que los evaluadores deben sentarse a la mesa de diseño. Según mi experiencia, su participación y capacidad para facilitar la reflexión evaluativa entre colegas suele contribuir a una mayor evaluabilidad de una intervención. También puede facilitar el desarrollo de una sólida planificación del seguimiento y la evaluación, así como la capacidad de utilizar y aprender de los datos generados por estos procesos. Esta función amplía lo que se suele entender, en algunos círculos al menos, de lo que son y lo que hacen los evaluadores, lo que me gusta mucho en términos de apoyo a una mayor profesionalización de nuestro campo.
En su 3ª edición de Evaluation Thesaurus, Michael Scriven hace referencia al concepto de "falsabilidad" del filósofo Karl Popper al hablar de la evaluabilidad. Este concepto se refiere a la idea de que siempre debe existir la posibilidad de demostrar que una teoría, hipótesis o afirmación es errónea. Para que un evaluando (definición de Scriven de lo que debe evaluarse: un programa, proyecto, personal, política, etc.) sea evaluable, entiendo que, en general, se consideraría falsable en la medida en que se diseñe, desarrolle o construya de forma que puedan generarse pruebas de su valor.
La connotación religiosa de la referencia de Scriven a un primer mandamiento ciertamente pretende dar importancia al concepto. La evaluabilidad como "el primer mandamiento en la rendición de cuentas" me impresiona como algo que se debe, una justificación y, en última instancia, una responsabilidad. Scriven señala que la baja evaluabilidad tiene un alto precio en términos de coste soportado. "No se puede aprender por ensayo y error si no hay una forma clara de identificar los errores". Y "No basta con que uno sea capaz de explicar cómo se ha gastado el dinero, sino que también se espera que sea capaz de justificarlo en función de los resultados obtenidos" (p. 1).
Creo que Scriven ofrece más información sobre la evaluabilidad en su 4ª edición. Estoy de viaje y no tengo acceso a mi biblioteca de casa. Quizá otros puedan aportar más información al respecto.
RE: Evaluability Assessments: An invitation to reflect and discuss
Estimados todos,
Gracias por vuestra participación activa y vuestros comentarios. Los estoy leyendo y reflexionando a medida que llegan. Responderé ahora a Dreni-Mi y a Daniel, y espero con impaciencia la continuación del debate.
Estimado Dreni-Mi,
Muchas gracias por tu comentario. Has ofrecido una buena visión general de las distintas fases de un análisis de evaluabilidad, una justificación de su aplicación y sus ventajas. En la bibliografía sobre evaluación se describen varias fases de los análisis de evaluabilidad, todas ellas relacionadas en cierta medida, pero que hacen hincapié en aspectos o valores diferentes y con una categorización ligeramente distinta. Me vienen a la mente las 8 etapas de Wholey, así como las 4 etapas de Trevisan y Walser. Creo que su énfasis en la rentabilidad y la preparación para una evaluación de calidad resuena en todos los enfoques.
Uno de los aprendizajes que obtuvimos el año pasado al realizar los análisis de evaluabilidad en el CGIAR fue el valor de un marco (lista de comprobación) para su uso y también la necesidad de ser flexibles en su aplicación. La lógica del rompecabezas de los análisis de evaluabilidad que Rick Davies compartió en otro artículo me parece especialmente útil para concebir los análisis de evaluabilidad como un medio de reunir las distintas piezas en un enfoque que se adapte mejor a un determinado contexto. Definir claramente los objetivos de un análisis de evaluabilidad y responder a necesidades específicas conduce a un uso más eficaz del marco, aportando más flexibilidad y matices al proceso.
De las etapas clave que ha descrito, ¿cuál le ha resultado más difícil de aplicar? ¿Cuál es su experiencia con el uso de los resultados de la evaluación de la evaluabilidad?
Saludos cordiales,
Amy
Estimado Daniel,
Muchas gracias por tus comentarios. Responderé a algunos. Estoy totalmente de acuerdo en que los evaluadores deben sentarse a la mesa de diseño. Según mi experiencia, su participación y capacidad para facilitar la reflexión evaluativa entre colegas suele contribuir a una mayor evaluabilidad de una intervención. También puede facilitar el desarrollo de una sólida planificación del seguimiento y la evaluación, así como la capacidad de utilizar y aprender de los datos generados por estos procesos. Esta función amplía lo que se suele entender, en algunos círculos al menos, de lo que son y lo que hacen los evaluadores, lo que me gusta mucho en términos de apoyo a una mayor profesionalización de nuestro campo.
En su 3ª edición de Evaluation Thesaurus, Michael Scriven hace referencia al concepto de "falsabilidad" del filósofo Karl Popper al hablar de la evaluabilidad. Este concepto se refiere a la idea de que siempre debe existir la posibilidad de demostrar que una teoría, hipótesis o afirmación es errónea. Para que un evaluando (definición de Scriven de lo que debe evaluarse: un programa, proyecto, personal, política, etc.) sea evaluable, entiendo que, en general, se consideraría falsable en la medida en que se diseñe, desarrolle o construya de forma que puedan generarse pruebas de su valor.
La connotación religiosa de la referencia de Scriven a un primer mandamiento ciertamente pretende dar importancia al concepto. La evaluabilidad como "el primer mandamiento en la rendición de cuentas" me impresiona como algo que se debe, una justificación y, en última instancia, una responsabilidad. Scriven señala que la baja evaluabilidad tiene un alto precio en términos de coste soportado. "No se puede aprender por ensayo y error si no hay una forma clara de identificar los errores". Y "No basta con que uno sea capaz de explicar cómo se ha gastado el dinero, sino que también se espera que sea capaz de justificarlo en función de los resultados obtenidos" (p. 1).
Creo que Scriven ofrece más información sobre la evaluabilidad en su 4ª edición. Estoy de viaje y no tengo acceso a mi biblioteca de casa. Quizá otros puedan aportar más información al respecto.
¿Alguna idea?