Gracias, Svetlana, por la oportunidad de participar en este debate. A continuación respondo a dos de sus preguntas.
¿Cree que las directrices responden a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?
Las directrices parecen responder a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados mediante un marco flexible y bien documentado. No estoy seguro de que un único criterio de evaluación capte la esencia de la investigación y el desarrollo. Creo que la respuesta se encontraría en la reflexión sobre su aplicación en los diversos ejercicios de evaluación que se llevarán a cabo próximamente en el CGIAR, así como en la reflexión sobre la experiencia organizativa previa. Esto puede implicar la identificación de cómo se interpreta en diferentes contextos, y si se puede considerar un mayor desarrollo de los criterios recomendados para una posible segunda versión de las Directrices.
¿Cómo puede el CGIAR apoyar el despliegue de las Directrices con la comunidad de evaluación y organizaciones afines?
Estoy de acuerdo con otros en que los talleres y/o la formación sobre las Directrices podrían ser un medio para desplegar las Directrices y comprometerse con la comunidad de evaluación. Sería productivo hacer hincapié en su flexibilidad y fomentar la reflexión sobre su uso en diferentes contextos organizativos.
En consonancia con mi respuesta a la primera pregunta anterior, sugeriría que se realizara un ejercicio metaevaluativo cuando hubiera más experiencia organizativa en la aplicación de las Directrices. Tendría un valor evidente para el CGIAR, y posiblemente conduciría a una segunda versión mejorada. También sería de gran valor para la comunidad evaluadora, ya que el CGIAR desempeñaría un papel importante a la hora de facilitar el aprendizaje continuo mediante el uso de la metaevaluación, lo que el teórico de la evaluación Michael Scriven ha denominado un importante esfuerzo científico y moral para el campo de la evaluación.
En la Western Michigan University estamos realizando una revisión de síntesis sobre la práctica de la metaevaluación en un período de 50 años. Hemos encontrado muchos ejemplos de metaevaluación de sistemas de evaluación en diferentes contextos. Suponíamos que se estaba haciendo muy poca metaevaluación y nos sorprendió descubrir que hay muchos ejemplos interesantes tanto en la literatura gris como en la académica. Documentar estos trabajos de metaevaluación reforzaría aún más la Guía y su aplicabilidad, además de añadir un valor significativo al compromiso continuo con la comunidad internacional de evaluación.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Gracias, Svetlana, por la oportunidad de participar en este debate. A continuación respondo a dos de sus preguntas.
¿Cree que las directrices responden a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?
Las directrices parecen responder a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados mediante un marco flexible y bien documentado. No estoy seguro de que un único criterio de evaluación capte la esencia de la investigación y el desarrollo. Creo que la respuesta se encontraría en la reflexión sobre su aplicación en los diversos ejercicios de evaluación que se llevarán a cabo próximamente en el CGIAR, así como en la reflexión sobre la experiencia organizativa previa. Esto puede implicar la identificación de cómo se interpreta en diferentes contextos, y si se puede considerar un mayor desarrollo de los criterios recomendados para una posible segunda versión de las Directrices.
¿Cómo puede el CGIAR apoyar el despliegue de las Directrices con la comunidad de evaluación y organizaciones afines?
Estoy de acuerdo con otros en que los talleres y/o la formación sobre las Directrices podrían ser un medio para desplegar las Directrices y comprometerse con la comunidad de evaluación. Sería productivo hacer hincapié en su flexibilidad y fomentar la reflexión sobre su uso en diferentes contextos organizativos.
En consonancia con mi respuesta a la primera pregunta anterior, sugeriría que se realizara un ejercicio metaevaluativo cuando hubiera más experiencia organizativa en la aplicación de las Directrices. Tendría un valor evidente para el CGIAR, y posiblemente conduciría a una segunda versión mejorada. También sería de gran valor para la comunidad evaluadora, ya que el CGIAR desempeñaría un papel importante a la hora de facilitar el aprendizaje continuo mediante el uso de la metaevaluación, lo que el teórico de la evaluación Michael Scriven ha denominado un importante esfuerzo científico y moral para el campo de la evaluación.
En la Western Michigan University estamos realizando una revisión de síntesis sobre la práctica de la metaevaluación en un período de 50 años. Hemos encontrado muchos ejemplos de metaevaluación de sistemas de evaluación en diferentes contextos. Suponíamos que se estaba haciendo muy poca metaevaluación y nos sorprendió descubrir que hay muchos ejemplos interesantes tanto en la literatura gris como en la académica. Documentar estos trabajos de metaevaluación reforzaría aún más la Guía y su aplicabilidad, además de añadir un valor significativo al compromiso continuo con la comunidad internacional de evaluación.