1. ¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
En el caso del CGIAR, quizás consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia más allá de la evaluación única de cada centro del CGIAR. Esto podría ayudar a medir mejor los resultados, evaluar la eficacia, mejorar la calidad de los datos, identificar las lagunas y agregar los datos entre los centros.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
En el marco del seguimiento de la evaluación y el aprendizaje, hemos utilizado en el pasado una combinación de métodos cuantitativos y cualitativos. Por ejemplo, la bibliometría (por ejemplo, la indexación de las colecciones básicas de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las revistas en cuartiles, Altmetrics) para los artículos publicados en revistas y los informes de casos de impacto de resultados (OICR) para describir la contribución de la investigación del CGIAR a los resultados y el impacto.
También nos hemos embarcado recientemente en un estudio que utiliza el análisis de redes sociales (SNA) y el análisis de redes de impacto (INA) para investigar las redes de colaboración en investigación de dos Programas de Investigación del CGIAR (CRP). Las redes se generan a partir de los artículos de revistas publicados a lo largo de cuatro años y sus metadatos se utilizan para explorar aspectos que van desde las estructuras de los equipos hasta la evolución de las colaboraciones entre organizaciones.
En general, una mezcla de métodos cuantitativos y cualitativos podría ser la estrategia más útil, permitiendo una combinación de diferentes enfoques y métricas para medir los impactos de las intervenciones.
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Lo mejor podría ser no un criterio único, sino una combinación de diferentes criterios. Hemos aprendido del trabajo de Rünzel, Sarfatti, Negroustoueva (2021) la utilidad de utilizar la pertinencia, la credibilidad científica, la legitimidad y la eficacia en el marco de la evaluación de la calidad de la investigación para el desarrollo.
RE: How to evaluate science, technology and innovation in a development context?
1. ¿Qué desafíos plantea la evaluación de la calidad de la ciencia y la investigación?
En el caso del CGIAR, quizás consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia más allá de la evaluación única de cada centro del CGIAR. Esto podría ayudar a medir mejor los resultados, evaluar la eficacia, mejorar la calidad de los datos, identificar las lagunas y agregar los datos entre los centros.
a. ¿Qué criterios de evaluación ha utilizado —o considera mejores— para evaluar intervenciones que vinculan la ciencia, la investigación y la innovación y el desarrollo? ¿Por qué?
En el marco del seguimiento de la evaluación y el aprendizaje, hemos utilizado en el pasado una combinación de métodos cuantitativos y cualitativos. Por ejemplo, la bibliometría (por ejemplo, la indexación de las colecciones básicas de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las revistas en cuartiles, Altmetrics) para los artículos publicados en revistas y los informes de casos de impacto de resultados (OICR) para describir la contribución de la investigación del CGIAR a los resultados y el impacto.
También nos hemos embarcado recientemente en un estudio que utiliza el análisis de redes sociales (SNA) y el análisis de redes de impacto (INA) para investigar las redes de colaboración en investigación de dos Programas de Investigación del CGIAR (CRP). Las redes se generan a partir de los artículos de revistas publicados a lo largo de cuatro años y sus metadatos se utilizan para explorar aspectos que van desde las estructuras de los equipos hasta la evolución de las colaboraciones entre organizaciones.
En general, una mezcla de métodos cuantitativos y cualitativos podría ser la estrategia más útil, permitiendo una combinación de diferentes enfoques y métricas para medir los impactos de las intervenciones.
b. ¿Cree que disponer de un criterio para evaluar la calidad de la ciencia podría ayudar a captar los aspectos científicos utilizados en la investigación y el desarrollo?
Lo mejor podría ser no un criterio único, sino una combinación de diferentes criterios. Hemos aprendido del trabajo de Rünzel, Sarfatti, Negroustoueva (2021) la utilidad de utilizar la pertinencia, la credibilidad científica, la legitimidad y la eficacia en el marco de la evaluación de la calidad de la investigación para el desarrollo.
Rünzel, M., Sarfatti, P. & Negroustoueva (2021), Evaluating quality of science in CGIAR research programs: Use of bibliometrics