Aprecio las Directrices de Evaluación del CGIAR como marco de referencia que proporciona ideas, herramientas y orientación sobre cómo evaluar la calidad de la ciencia, incluso en el contexto de proyectos de desarrollo que incluyen componentes científicos y de investigación. Esta es específicamente mi perspectiva, como evaluadora de proyectos de desarrollo que pueden incluir componentes de investigación o el desarrollo de herramientas científicas para mejorar la eficacia del proyecto en los sectores agrícolas. Hago constar de antemano que no he analizado a fondo las directrices y los documentos conexos y que soy ajeno al CGIAR. Sin embargo, creo que las directrices son una contribución importante.
A falta de directrices similares para evaluar la calidad de la investigación y la ciencia, me doy cuenta de que mi análisis anterior estuvo algo disperso entre los 6 criterios del CAD de la OCDE, aunque abarcaba la mayoría de las dimensiones incluidas en las directrices. En el criterio de pertinencia, por ejemplo, analicé la justificación y el valor añadido de los productos científicos y la calidad de su diseño; así como el grado de "codiseño" con las partes interesadas locales, que las directrices enmarcan como "legitimidad", dentro del criterio de calidad de servicio. En cuanto a la eficiencia, analicé la adecuación de las aportaciones de la investigación, la entrega puntual de los resultados de la investigación, las sinergias internas entre las actividades de investigación y otros componentes del proyecto, y la rentabilidad de los productos científicos. La mayor parte del análisis se centró en la eficacia y utilidad de las herramientas científicas desarrolladas y en la sostenibilidad potencial de los resultados de la investigación. El análisis de la "credibilidad científica" resultó más complicado, ya que el equipo de evaluación no contaba con expertos en la materia. Este concepto se analizó principalmente a partir de las percepciones de las partes interesadas mediante herramientas cualitativas de recopilación de datos. Además, es poco probable que la validación científica de la investigación y las herramientas científicas se consiga dentro de la duración común del proyecto de 3 años. Por lo tanto, pueden realizarse evaluaciones antes de que se produzca la validación científica. Las cuatro dimensiones de las directrices son suficientemente claras y útiles como hilo conductor para elaborar preguntas de evaluación. Yo sólo me centraría más en conceptos como la "utilidad" de las herramientas científicas desarrolladas desde la perspectiva de los beneficiarios finales del proyecto; la "asimilación" de los resultados científicos entregados por las partes interesadas implicadas y los "beneficios" derivados de la investigación y/o las herramientas científicas desarrolladas. En el marco de los proyectos de desarrollo, los componentes científicos suelen estar bastante aislados de otras actividades del proyecto, con pocas sinergias internas. Además, la asimilación de los productos científicos y la reproducción de los resultados suele ser un problema. Creo que es algo en lo que hay que centrarse claramente mediante preguntas de evaluación adecuadas. Por ejemplo, las preguntas de evaluación de la calidad de la ciencia (sección 3.2) no se centran lo suficiente en estos aspectos. EQ3 se centra en cómo los resultados de la investigación contribuyen al avance de la ciencia, pero no en cómo los resultados de la investigación contribuyen a los objetivos de desarrollo, cuál es la aplicación de los resultados de la investigación sobre el terreno o dentro del desarrollo de políticas, cuál es el impacto de los resultados entregados, lo que, en mi opinión, merece una mayor atención y herramientas y orientaciones prácticas. Además de esto, que se basa en mi lectura incipiente de las directrices, pondré a prueba la aplicación de las directrices en las próximas evaluaciones, en caso de que el evaluando incluya componentes de investigación. Esto ayudará a afinar la operacionalización de las directrices a través de la experiencia práctica.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Estimados todos,
Aprecio las Directrices de Evaluación del CGIAR como marco de referencia que proporciona ideas, herramientas y orientación sobre cómo evaluar la calidad de la ciencia, incluso en el contexto de proyectos de desarrollo que incluyen componentes científicos y de investigación. Esta es específicamente mi perspectiva, como evaluadora de proyectos de desarrollo que pueden incluir componentes de investigación o el desarrollo de herramientas científicas para mejorar la eficacia del proyecto en los sectores agrícolas. Hago constar de antemano que no he analizado a fondo las directrices y los documentos conexos y que soy ajeno al CGIAR. Sin embargo, creo que las directrices son una contribución importante.
A falta de directrices similares para evaluar la calidad de la investigación y la ciencia, me doy cuenta de que mi análisis anterior estuvo algo disperso entre los 6 criterios del CAD de la OCDE, aunque abarcaba la mayoría de las dimensiones incluidas en las directrices. En el criterio de pertinencia, por ejemplo, analicé la justificación y el valor añadido de los productos científicos y la calidad de su diseño; así como el grado de "codiseño" con las partes interesadas locales, que las directrices enmarcan como "legitimidad", dentro del criterio de calidad de servicio. En cuanto a la eficiencia, analicé la adecuación de las aportaciones de la investigación, la entrega puntual de los resultados de la investigación, las sinergias internas entre las actividades de investigación y otros componentes del proyecto, y la rentabilidad de los productos científicos. La mayor parte del análisis se centró en la eficacia y utilidad de las herramientas científicas desarrolladas y en la sostenibilidad potencial de los resultados de la investigación. El análisis de la "credibilidad científica" resultó más complicado, ya que el equipo de evaluación no contaba con expertos en la materia. Este concepto se analizó principalmente a partir de las percepciones de las partes interesadas mediante herramientas cualitativas de recopilación de datos. Además, es poco probable que la validación científica de la investigación y las herramientas científicas se consiga dentro de la duración común del proyecto de 3 años. Por lo tanto, pueden realizarse evaluaciones antes de que se produzca la validación científica. Las cuatro dimensiones de las directrices son suficientemente claras y útiles como hilo conductor para elaborar preguntas de evaluación. Yo sólo me centraría más en conceptos como la "utilidad" de las herramientas científicas desarrolladas desde la perspectiva de los beneficiarios finales del proyecto; la "asimilación" de los resultados científicos entregados por las partes interesadas implicadas y los "beneficios" derivados de la investigación y/o las herramientas científicas desarrolladas. En el marco de los proyectos de desarrollo, los componentes científicos suelen estar bastante aislados de otras actividades del proyecto, con pocas sinergias internas. Además, la asimilación de los productos científicos y la reproducción de los resultados suele ser un problema. Creo que es algo en lo que hay que centrarse claramente mediante preguntas de evaluación adecuadas. Por ejemplo, las preguntas de evaluación de la calidad de la ciencia (sección 3.2) no se centran lo suficiente en estos aspectos. EQ3 se centra en cómo los resultados de la investigación contribuyen al avance de la ciencia, pero no en cómo los resultados de la investigación contribuyen a los objetivos de desarrollo, cuál es la aplicación de los resultados de la investigación sobre el terreno o dentro del desarrollo de políticas, cuál es el impacto de los resultados entregados, lo que, en mi opinión, merece una mayor atención y herramientas y orientaciones prácticas. Además de esto, que se basa en mi lectura incipiente de las directrices, pondré a prueba la aplicación de las directrices en las próximas evaluaciones, en caso de que el evaluando incluya componentes de investigación. Esto ayudará a afinar la operacionalización de las directrices a través de la experiencia práctica.