Agradecemos la Nota Técnica "Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto de un CGIAR" (Nota Técnica del CAS). En el Fondo Internacional de Investigación Agrícola (FIA) de la GIZ hemos encargado recientemente un estudio bibliométrico a Science Metrix (véase Evans, 2021) y acogemos con satisfacción el creciente valor que el sistema CGIAR está otorgando a una evaluación rigurosa de la calidad científica de sus investigaciones. Consideramos que la calidad de la ciencia es un prerrequisito necesario en el camino hacia el impacto en el desarrollo, ya que las innovaciones son desarrolladas y probadas primero por los científicos del CGIAR. En los siguientes párrafos nos gustaría responder a sus preguntas desde el punto de vista de los donantes.
1.¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
Como financiadores, esperamos que los proyectos de investigación que encargamos realicen su trabajo de acuerdo con los 4 elementos clave de la Calidad de la Investigación para el Desarrollo (QoR4D), que incluyen 1) Relevancia, 2) Credibilidad científica, 3) Legitimidad, 4) Eficacia. Sin embargo, estos criterios se aplican sobre todo al proceso de "hacer" investigación y ciencia. Sin embargo, también nos interesan los resultados (productos, resultados, impactos). Si hablamos de la calidad de la ciencia, nos parecen muy útiles los análisis bibliométricos para determinar el impacto científico de nuestros trabajos financiados en los campos científicos pertinentes. Y el impacto dentro de un campo científico se sigue midiendo mejor por el número de citas que recibe un artículo o capítulo de libro. En el campo de la ciencia, las publicaciones revisadas por pares (y las citas que reciben los artículos) se consideran el "patrón de oro" en términos de impacto. Sin embargo, la medición del impacto científico plantea algunos problemas:
Largos periodos de tiempo. Un gran desafío, que el Informe SOAR 2020 (Alston et al. 2020) señaló, es que "la investigación agrícola es magia lenta" - pueden pasar décadas para que los resultados de las inversiones en investigación agrícola sean visibles, pero los responsables de la toma de decisiones necesitan demostrar los resultados rápidamente y evaluar el retorno de la inversión del proyecto en el futuro para justificar un aumento de la financiación. Como también hemos aprendido de la nota técnica del CAS, una medición sólida del impacto de la ciencia en términos de bibliometría sólo es posible unos 5 años después de que se haya completado un proyecto o cartera de investigación. El ciclo de revisión por pares, los requisitos de cada revista y el estado de las citas, que a menudo reflejan la cantidad de lectores, hacen que pase tiempo hasta que el impacto sea evidente, especialmente si el trabajo es novedoso o muy innovador. El largo horizonte temporal plantea retos, ya que no podemos utilizar esta información directamente para la programación.
Altmetrics. Entendemos perfectamente que la bibliometría es una medida imperfecta del verdadero impacto científico. Algunas investigaciones pueden ser muy influyentes y llegar a una gran audiencia a través de canales alternativos como twitter, blogs o como literatura gris. Esto se recoge en la altmetría, pero es difícil combinar la bibliometría y la altmetría para obtener una imagen completa del impacto científico.
Rentabilidad. Como señala Science Metrix, y sobre todo en el caso de los trabajos con coautores externos, no es fácil determinar la fracción de apoyo atribuible a cada fuente de financiación. Los donantes suelen estar interesados en "seguir el dinero", pero al medir la calidad de la ciencia, la inversión directa no es tan fácilmente atribuible a los resultados y los impactos a largo plazo de la aplicación y la ampliación de las contribuciones científicas publicadas acaban aportando la verdadera "rentabilidad". En nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021), también evaluamos la eficiencia en términos de coste-beneficio. En concreto, evaluamos el número de publicaciones por millón de euros invertidos. A continuación, comparamos la rentabilidad de nuestros proyectos de investigación financiados con los de proyectos comparables financiados por la UE y descubrimos que nuestros proyectos de investigación eran más eficientes. Sin embargo, el cálculo de estas medidas de rentabilidad tiene muchas limitaciones. Sin embargo, nos alegró ver que un indicador de este tipo también se propone como "Indicador prioritario de nivel 2" (E10) sugerido en la nota técnica del CAS.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
Enfoque de impacto. En nuestra evaluación de la calidad de la ciencia, nos centramos especialmente en los criterios de evaluación del CAD de la OCDE "impacto" (¿qué consigue la investigación? ¿Qué contribución hace?) y, en menor medida, "eficiencia" (¿cómo se utilizaron los recursos, cuánto se consiguió por la cantidad gastada?). Ambos criterios de evaluación, el impacto y la eficiencia, son de especial relevancia para nosotros, como financiadores, en términos de responsabilidad y transparencia para demostrar que el dinero de los contribuyentes se utiliza de forma inteligente.
En nuestra evaluación (véase Evans 2021), Science Metrix se centró principalmente en los indicadores bibliométricos, comparando las publicaciones de nuestros proyectos financiados con las de otras investigaciones agrícolas internacionales (fuera del sistema CGIAR). La contribución a los ODS, basada en búsquedas de palabras clave y análisis de contenido, también formó parte del análisis, con el fin de captar la medida en que las cuestiones transversales como el género, los derechos humanos, la sostenibilidad, la resiliencia, así como la mitigación del cambio climático y la adaptación se abordaron en las publicaciones revisadas por pares. La mayoría de los indicadores bibliométricos buscaban evaluar el impacto que han tenido las publicaciones, a través de indicadores como el promedio de citas relativas (ARC), las publicaciones altamente citadas (HCP) y el índice de distribución de citas (CDI).
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Sí, en efecto, un criterio de evaluación de la calidad de la ciencia (QoS) designado, como se indica en la nota técnica del ISDC "Quality of Research for Development in the CGIAR Context", puede ser muy apropiado para evaluar la investigación en el marco del CGIAR. Como reflejo de la ventaja comparativa y el enfoque principal del CGIAR, la calidad de la ciencia, y no sólo los indicadores de desarrollo, a menudo fuera de la esfera de influencia, y el mandato, de los institutos de investigación, debe reflejarse en las evaluaciones. Los subcomponentes del criterio de evaluación de la calidad del servicio (pertinencia, credibilidad científica, legitimidad y eficacia) son importantes para medir la calidad de "hacer ciencia". No obstante, destacamos que dicho criterio debería ir siempre acompañado de una evaluación de los criterios del CAD de la OCDE sobre el impacto y la eficiencia para captar también no sólo el "hacer" sino también los "resultados" de la empresa de investigación para el desarrollo.
2. ¿Qué métodos e indicadores podrían ser adecuados para evaluar la ciencia y la investigación?
La calidad de la ciencia. La evaluación del criterio de calidad de la ciencia (QoS) y sus subcomponentes (Relevancia, Credibilidad científica, Legitimidad, Eficacia) requiere un enfoque de métodos mixtos. Al igual que en las evaluaciones del Programa de Investigación del CGIAR (CRP), la atención se centrará en los insumos (composición del personal de investigación, colaboraciones, dinero, infraestructura de gestión, políticas, etc.). Los métodos de investigación cualitativa serán los más adecuados cuando se trate de evaluar la pertinencia de una determinada pregunta de investigación o si el proceso de investigación se percibe como justo y ético. Esto puede requerir la realización de entrevistas con las principales partes interesadas, y/o la realización de encuestas para recabar opiniones y conocimientos sobre las condiciones favorables y los obstáculos para un impacto eficaz y sostenible.
IS. Por el contrario, la evaluación del impacto de la ciencia (IS) requerirá el uso de análisis cuantitativos que utilicen métodos y medidas bibliométricas sofisticadas, tal y como indica Science Metrix en la nota técnica del CAS. Consideramos que todos los "Indicadores prioritarios de nivel 1" (Nota Técnica del CAS, Tabla 6) son indicadores de impacto científico muy relevantes que esperamos sean computados a la hora de evaluar el impacto científico de la actual ronda de Iniciativas OneCGIAR.
3. ¿Conoce alguna práctica de seguimiento, evaluación y aprendizaje (SEA) que podría facilitar la evaluación de la ciencia, la tecnología y la innovación?
El seguimiento continuo de la calidad de la ciencia (QoS) así como del impacto científico ( IS) será difícil. Desde nuestro punto de vista, ambos criterios deben evaluarse mediante un formato de evaluación (estudio en un momento determinado). Nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021) es un ejemplo de cómo podría evaluarse el IS utilizando métodos y medidas bibliométricas rigurosas. Sin embargo, el propósito de nuestro estudio de calidad de la ciencia era investigar el alcance y el impacto de nuestro trabajo de investigación financiado en el campo científico de la agricultura de desarrollo. El estudio sirvió para la rendición de cuentas y la transparencia. No utilizamos los resultados para la dimensión "L" (learning - aprendizaje) de la MEL. Un verdadero estudio cualitativo o de métodos mixtos sobre la calidad de vida sería un ajuste más natural cuando el objetivo es derivar lecciones que puedan utilizarse para la gestión adaptativa y la dirección. Las evaluaciones del Programa de Investigación del CGIAR (CRP) proporcionan un buen ejemplo de cómo los resultados de una evaluación podrían utilizarse para mejorar el "hacer ciencia".
Atentamente,
Raphael Nawrotzki y Hanna Ewell (Unidad de M&E, FIA, GIZ)
RE: How to evaluate science, technology and innovation in a development context?
Estimada Svetlana y el equipo del CAS,
Agradecemos la Nota Técnica "Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto de un CGIAR" (Nota Técnica del CAS). En el Fondo Internacional de Investigación Agrícola (FIA) de la GIZ hemos encargado recientemente un estudio bibliométrico a Science Metrix (véase Evans, 2021) y acogemos con satisfacción el creciente valor que el sistema CGIAR está otorgando a una evaluación rigurosa de la calidad científica de sus investigaciones. Consideramos que la calidad de la ciencia es un prerrequisito necesario en el camino hacia el impacto en el desarrollo, ya que las innovaciones son desarrolladas y probadas primero por los científicos del CGIAR. En los siguientes párrafos nos gustaría responder a sus preguntas desde el punto de vista de los donantes.
1.¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
Como financiadores, esperamos que los proyectos de investigación que encargamos realicen su trabajo de acuerdo con los 4 elementos clave de la Calidad de la Investigación para el Desarrollo (QoR4D), que incluyen 1) Relevancia, 2) Credibilidad científica, 3) Legitimidad, 4) Eficacia. Sin embargo, estos criterios se aplican sobre todo al proceso de "hacer" investigación y ciencia. Sin embargo, también nos interesan los resultados (productos, resultados, impactos). Si hablamos de la calidad de la ciencia, nos parecen muy útiles los análisis bibliométricos para determinar el impacto científico de nuestros trabajos financiados en los campos científicos pertinentes. Y el impacto dentro de un campo científico se sigue midiendo mejor por el número de citas que recibe un artículo o capítulo de libro. En el campo de la ciencia, las publicaciones revisadas por pares (y las citas que reciben los artículos) se consideran el "patrón de oro" en términos de impacto. Sin embargo, la medición del impacto científico plantea algunos problemas:
Largos periodos de tiempo. Un gran desafío, que el Informe SOAR 2020 (Alston et al. 2020) señaló, es que "la investigación agrícola es magia lenta" - pueden pasar décadas para que los resultados de las inversiones en investigación agrícola sean visibles, pero los responsables de la toma de decisiones necesitan demostrar los resultados rápidamente y evaluar el retorno de la inversión del proyecto en el futuro para justificar un aumento de la financiación. Como también hemos aprendido de la nota técnica del CAS, una medición sólida del impacto de la ciencia en términos de bibliometría sólo es posible unos 5 años después de que se haya completado un proyecto o cartera de investigación. El ciclo de revisión por pares, los requisitos de cada revista y el estado de las citas, que a menudo reflejan la cantidad de lectores, hacen que pase tiempo hasta que el impacto sea evidente, especialmente si el trabajo es novedoso o muy innovador. El largo horizonte temporal plantea retos, ya que no podemos utilizar esta información directamente para la programación.
Altmetrics. Entendemos perfectamente que la bibliometría es una medida imperfecta del verdadero impacto científico. Algunas investigaciones pueden ser muy influyentes y llegar a una gran audiencia a través de canales alternativos como twitter, blogs o como literatura gris. Esto se recoge en la altmetría, pero es difícil combinar la bibliometría y la altmetría para obtener una imagen completa del impacto científico.
Rentabilidad. Como señala Science Metrix, y sobre todo en el caso de los trabajos con coautores externos, no es fácil determinar la fracción de apoyo atribuible a cada fuente de financiación. Los donantes suelen estar interesados en "seguir el dinero", pero al medir la calidad de la ciencia, la inversión directa no es tan fácilmente atribuible a los resultados y los impactos a largo plazo de la aplicación y la ampliación de las contribuciones científicas publicadas acaban aportando la verdadera "rentabilidad". En nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021), también evaluamos la eficiencia en términos de coste-beneficio. En concreto, evaluamos el número de publicaciones por millón de euros invertidos. A continuación, comparamos la rentabilidad de nuestros proyectos de investigación financiados con los de proyectos comparables financiados por la UE y descubrimos que nuestros proyectos de investigación eran más eficientes. Sin embargo, el cálculo de estas medidas de rentabilidad tiene muchas limitaciones. Sin embargo, nos alegró ver que un indicador de este tipo también se propone como "Indicador prioritario de nivel 2" (E10) sugerido en la nota técnica del CAS.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
Enfoque de impacto. En nuestra evaluación de la calidad de la ciencia, nos centramos especialmente en los criterios de evaluación del CAD de la OCDE "impacto" (¿qué consigue la investigación? ¿Qué contribución hace?) y, en menor medida, "eficiencia" (¿cómo se utilizaron los recursos, cuánto se consiguió por la cantidad gastada?). Ambos criterios de evaluación, el impacto y la eficiencia, son de especial relevancia para nosotros, como financiadores, en términos de responsabilidad y transparencia para demostrar que el dinero de los contribuyentes se utiliza de forma inteligente.
En nuestra evaluación (véase Evans 2021), Science Metrix se centró principalmente en los indicadores bibliométricos, comparando las publicaciones de nuestros proyectos financiados con las de otras investigaciones agrícolas internacionales (fuera del sistema CGIAR). La contribución a los ODS, basada en búsquedas de palabras clave y análisis de contenido, también formó parte del análisis, con el fin de captar la medida en que las cuestiones transversales como el género, los derechos humanos, la sostenibilidad, la resiliencia, así como la mitigación del cambio climático y la adaptación se abordaron en las publicaciones revisadas por pares. La mayoría de los indicadores bibliométricos buscaban evaluar el impacto que han tenido las publicaciones, a través de indicadores como el promedio de citas relativas (ARC), las publicaciones altamente citadas (HCP) y el índice de distribución de citas (CDI).
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Sí, en efecto, un criterio de evaluación de la calidad de la ciencia (QoS) designado, como se indica en la nota técnica del ISDC "Quality of Research for Development in the CGIAR Context", puede ser muy apropiado para evaluar la investigación en el marco del CGIAR. Como reflejo de la ventaja comparativa y el enfoque principal del CGIAR, la calidad de la ciencia, y no sólo los indicadores de desarrollo, a menudo fuera de la esfera de influencia, y el mandato, de los institutos de investigación, debe reflejarse en las evaluaciones. Los subcomponentes del criterio de evaluación de la calidad del servicio (pertinencia, credibilidad científica, legitimidad y eficacia) son importantes para medir la calidad de "hacer ciencia". No obstante, destacamos que dicho criterio debería ir siempre acompañado de una evaluación de los criterios del CAD de la OCDE sobre el impacto y la eficiencia para captar también no sólo el "hacer" sino también los "resultados" de la empresa de investigación para el desarrollo.
2. ¿Qué métodos e indicadores podrían ser adecuados para evaluar la ciencia y la investigación?
La calidad de la ciencia. La evaluación del criterio de calidad de la ciencia (QoS) y sus subcomponentes (Relevancia, Credibilidad científica, Legitimidad, Eficacia) requiere un enfoque de métodos mixtos. Al igual que en las evaluaciones del Programa de Investigación del CGIAR (CRP), la atención se centrará en los insumos (composición del personal de investigación, colaboraciones, dinero, infraestructura de gestión, políticas, etc.). Los métodos de investigación cualitativa serán los más adecuados cuando se trate de evaluar la pertinencia de una determinada pregunta de investigación o si el proceso de investigación se percibe como justo y ético. Esto puede requerir la realización de entrevistas con las principales partes interesadas, y/o la realización de encuestas para recabar opiniones y conocimientos sobre las condiciones favorables y los obstáculos para un impacto eficaz y sostenible.
IS. Por el contrario, la evaluación del impacto de la ciencia (IS) requerirá el uso de análisis cuantitativos que utilicen métodos y medidas bibliométricas sofisticadas, tal y como indica Science Metrix en la nota técnica del CAS. Consideramos que todos los "Indicadores prioritarios de nivel 1" (Nota Técnica del CAS, Tabla 6) son indicadores de impacto científico muy relevantes que esperamos sean computados a la hora de evaluar el impacto científico de la actual ronda de Iniciativas OneCGIAR.
3. ¿Conoce alguna práctica de seguimiento, evaluación y aprendizaje (SEA) que podría facilitar la evaluación de la ciencia, la tecnología y la innovación?
El seguimiento continuo de la calidad de la ciencia (QoS) así como del impacto científico ( IS) será difícil. Desde nuestro punto de vista, ambos criterios deben evaluarse mediante un formato de evaluación (estudio en un momento determinado). Nuestro propio estudio sobre la calidad de la ciencia (véase Evans 2021) es un ejemplo de cómo podría evaluarse el IS utilizando métodos y medidas bibliométricas rigurosas. Sin embargo, el propósito de nuestro estudio de calidad de la ciencia era investigar el alcance y el impacto de nuestro trabajo de investigación financiado en el campo científico de la agricultura de desarrollo. El estudio sirvió para la rendición de cuentas y la transparencia. No utilizamos los resultados para la dimensión "L" (learning - aprendizaje) de la MEL. Un verdadero estudio cualitativo o de métodos mixtos sobre la calidad de vida sería un ajuste más natural cuando el objetivo es derivar lecciones que puedan utilizarse para la gestión adaptativa y la dirección. Las evaluaciones del Programa de Investigación del CGIAR (CRP) proporcionan un buen ejemplo de cómo los resultados de una evaluación podrían utilizarse para mejorar el "hacer ciencia".
Atentamente,
Raphael Nawrotzki y Hanna Ewell (Unidad de M&E, FIA, GIZ)
References:
Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/
Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun