¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?
He participado en la evaluación de propuestas de programas y proyectos del CGIAR —y de su ejecución— en el último decenio. Es por ello que he utilizado una amplia variedad de marcos y directrices. Para las evaluaciones de 2015 de la primera fase de los programas de investigación del CGIAR, utilizamos una versión modificada del marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que incluía los criterios de relevancia/coherencia, eficacia, impacto y sostenibilidad. En ausencia de un criterio de calidad de la ciencia en dicho marco, evaluamos ésta sin elementos o dimensiones establecidos. Consideramos las asociaciones como transversales y no vinculamos directamente la evaluación de la gobernanza y la gestión con la evaluación de la calidad de la ciencia. Para las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR, empleamos el marco de referencia de la calidad de la investigación para el desarrollo, con sus cuatro elementos fundamentales (relevancia, eficacia, legitimidad y credibilidad) y tres dimensiones (recursos, procesos y productos). La calidad de la ciencia estaba firmemente basada en los elementos de credibilidad y legitimidad, y las tres dimensiones tenían indicadores bien definidos. Durante el proceso, pusimos de relieve la ausencia de la dimensión del diseño de la investigación y su importancia para evaluar la coherencia y la integridad y adecuación metodológicas, así como la ventaja comparativa del CGIAR para abordar desafíos mundiales y regionales.
La versión beta de las Directrices recoge todas estas valiosas enseñanzas, adquiridas en este decenio. Es por ello que considero que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño. Además, durante su elaboración, se han consultado también otros marcos y directrices de evaluación, a fin de comprender mejor la evaluación de las actividades de investigación y desarrollo. Gracias a esto, las Directrices son flexibles y se pueden adaptar a diferentes usuarios y necesidades. Por tanto, creo que son útiles para organizaciones de investigación para el desarrollo, institutos de investigación y organismos de desarrollo.
Recientemente, las Directrices se han utilizado con carácter retroactivo para examinar las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR con un mayor conocimiento de los indicadores cualitativos en cuatro dimensiones. La aplicación de las Directrices clarificó las conclusiones de estas evaluaciones y mejoró la capacidad de sintetizar cuestiones importantes en toda la cartera de programas de investigación del CGIAR.
¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)
Las cuatro dimensiones son claras y útiles, especialmente si están acompañadas de criterios establecidos con indicadores bien definidos. Son más adecuadas para un enfoque de evaluación de métodos combinados que utilice indicadores cuantitativos y cualitativos. Además, ofrecen la flexibilidad necesaria para utilizar las Directrices en diferentes etapas de la investigación: desde la fase de presentación de propuestas —en la que se evaluarían el diseño, los recursos y los procesos previstos— hasta las fases de examen intermedio y finalización del proyecto, en las que los productos adquirirían mayor importancia.
¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?
Por mi propia experiencia, considero que el criterio de calidad de la ciencia —con sus elementos intrínsecos de credibilidad (resultados de investigación y fuentes de conocimiento sólidos) y legitimidad (procesos de investigación justos y éticos y reconocimiento de los asociados)— capta la esencia de la investigación y la investigación para el desarrollo. Su capacidad para comprender los fundamentos del desarrollo dependerá de la importancia de la ciencia para el contexto del desarrollo.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
He participado en la evaluación de propuestas de programas y proyectos del CGIAR —y de su ejecución— en el último decenio. Es por ello que he utilizado una amplia variedad de marcos y directrices. Para las evaluaciones de 2015 de la primera fase de los programas de investigación del CGIAR, utilizamos una versión modificada del marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que incluía los criterios de relevancia/coherencia, eficacia, impacto y sostenibilidad. En ausencia de un criterio de calidad de la ciencia en dicho marco, evaluamos ésta sin elementos o dimensiones establecidos. Consideramos las asociaciones como transversales y no vinculamos directamente la evaluación de la gobernanza y la gestión con la evaluación de la calidad de la ciencia. Para las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR, empleamos el marco de referencia de la calidad de la investigación para el desarrollo, con sus cuatro elementos fundamentales (relevancia, eficacia, legitimidad y credibilidad) y tres dimensiones (recursos, procesos y productos). La calidad de la ciencia estaba firmemente basada en los elementos de credibilidad y legitimidad, y las tres dimensiones tenían indicadores bien definidos. Durante el proceso, pusimos de relieve la ausencia de la dimensión del diseño de la investigación y su importancia para evaluar la coherencia y la integridad y adecuación metodológicas, así como la ventaja comparativa del CGIAR para abordar desafíos mundiales y regionales.
La versión beta de las Directrices recoge todas estas valiosas enseñanzas, adquiridas en este decenio. Es por ello que considero que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño. Además, durante su elaboración, se han consultado también otros marcos y directrices de evaluación, a fin de comprender mejor la evaluación de las actividades de investigación y desarrollo. Gracias a esto, las Directrices son flexibles y se pueden adaptar a diferentes usuarios y necesidades. Por tanto, creo que son útiles para organizaciones de investigación para el desarrollo, institutos de investigación y organismos de desarrollo.
Recientemente, las Directrices se han utilizado con carácter retroactivo para examinar las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR con un mayor conocimiento de los indicadores cualitativos en cuatro dimensiones. La aplicación de las Directrices clarificó las conclusiones de estas evaluaciones y mejoró la capacidad de sintetizar cuestiones importantes en toda la cartera de programas de investigación del CGIAR.
Las cuatro dimensiones son claras y útiles, especialmente si están acompañadas de criterios establecidos con indicadores bien definidos. Son más adecuadas para un enfoque de evaluación de métodos combinados que utilice indicadores cuantitativos y cualitativos. Además, ofrecen la flexibilidad necesaria para utilizar las Directrices en diferentes etapas de la investigación: desde la fase de presentación de propuestas —en la que se evaluarían el diseño, los recursos y los procesos previstos— hasta las fases de examen intermedio y finalización del proyecto, en las que los productos adquirirían mayor importancia.
Por mi propia experiencia, considero que el criterio de calidad de la ciencia —con sus elementos intrínsecos de credibilidad (resultados de investigación y fuentes de conocimiento sólidos) y legitimidad (procesos de investigación justos y éticos y reconocimiento de los asociados)— capta la esencia de la investigación y la investigación para el desarrollo. Su capacidad para comprender los fundamentos del desarrollo dependerá de la importancia de la ciencia para el contexto del desarrollo.