Evaluación de la calidad de la investigación para el desarrollo
Habiendo participado en la revisión y evaluación de proyectos y programas de investigación agrícola para el desarrollo durante varias décadas, me gustaría compartir algunas observaciones.
Valor de la bibliometría y la altmetrics
A pesar de la cobertura negativa de la bibliometría en la literatura actual, ésta tiene una función importante en la evaluación de la calidad de los trabajos de investigación agrícola para el desarrollo publicados. Los artículos publicados ya han superado un umbral de alta calidad, ya que han sido revisados por científicos experimentados. La mayoría de las revistas internacionales tienen tasas de rechazo superiores al 90%: sólo se publican los artículos de mayor calidad. La bibliometría ofrece un medio para evaluar la calidad mediante el número de citas, el factor de impacto de la revista (FI), la clasificación por cuartiles y los índices h de los autores, entre otros datos bibliométricos. Las citas y los índices h reflejan la calidad de la investigación publicada dentro de la comunidad científica. Las altmetrics demuestran el interés por el artículo entre el grupo de pares de los autores. La reciente publicación de Runzel et al (2021) ilustra claramente cómo las combinaciones de bibliometría y altmetría pueden utilizarse con éxito para evaluar la calidad de casi 5000 artículos publicados por los Programas de Investigación del CGIAR durante 2017-2020. La Nota Técnica - Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto del GCIAI Único amplía enormemente el número de bibliometrías potenciales que podrían utilizarse para evaluar la calidad.
¿Existen alternativas a las citas y al FI? Los gigantes de la edición científica, como Elsevier, utilizan las citas y los FI para controlar la calidad de sus revistas. Un mayor FI se traduce en mayores ventas de suscripciones a revistas. Como estas empresas son las propietarias de la mayoría de las revistas científicas, cualquier alternativa tendría que contar con su aprobación, lo que es poco probable, ya que parecen estar contentas con el statu quo. Actualmente no parece haber ninguna alternativa reconocida. Un artículo reciente de Slafer y Savin (2020) señala que la calidad de una revista (FI) como indicador del impacto probable de un artículo es aceptable cuando la evaluación se centra en artículos publicados recientemente.
Importancia de los indicadores cualitativos
Los indicadores cualitativos de la calidad de la investigación son tan importantes como la bibliometría y otros indicadores cuantitativos, y deberían utilizarse siempre junto con la bibliometría. Las evaluaciones de 2020 de los programas de investigación del CGIAR (https://cas.cgiar.org/publications) utilizaron eficazmente una serie de indicadores cualitativos para evaluar los insumos, los procesos y los resultados bajo el paraguas del Marco de Calidad de la Investigación para el Desarrollo, utilizando los elementos de evaluación: pertinencia, credibilidad, legitimidad y eficacia.
El IDRC revisó recientemente su diagnóstico de la calidad de la investigación - firmemente anclado en la evaluación cualitativa - para evaluar más eficazmente la calidad en un contexto de desarrollo (IDRC, 2017). Es interesante el cambio en el uso de indicadores que miran el posicionamiento para el uso. El IDRC ha utilizado con éxito el instrumento RQ+ para evaluar 170 estudios de investigación (McClean y Sen, 2019).
La subjetividad en la evaluación cualitativa no puede eliminarse, pero puede reducirse empleando un equipo de evaluadores y definiendo mejor los criterios, los indicadores y las descripciones.
Los científicos suelen plantear que les interesa más el impacto de su investigación que su evaluación cualitativa. La evaluación de la eficacia en el contexto del posicionamiento para el uso permite valorar el impacto potencial a través de indicadores como el compromiso de las partes interesadas, la integración de la perspectiva de género, la creación de redes y los vínculos con los responsables políticos.
Integración de indicadores cuantitativos (incluida la bibliometría) y cualitativos
El desarrollo y el perfeccionamiento continuos de los indicadores cuantitativos y cualitativos ofrecen la posibilidad de integrarlos para proporcionar una evaluación más completa de la calidad de la investigación para el desarrollo. Se trata de un área apasionante para futuras evaluaciones.
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant
RE: How to evaluate science, technology and innovation in a development context?
Evaluación de la calidad de la investigación para el desarrollo
Habiendo participado en la revisión y evaluación de proyectos y programas de investigación agrícola para el desarrollo durante varias décadas, me gustaría compartir algunas observaciones.
Valor de la bibliometría y la altmetrics
A pesar de la cobertura negativa de la bibliometría en la literatura actual, ésta tiene una función importante en la evaluación de la calidad de los trabajos de investigación agrícola para el desarrollo publicados. Los artículos publicados ya han superado un umbral de alta calidad, ya que han sido revisados por científicos experimentados. La mayoría de las revistas internacionales tienen tasas de rechazo superiores al 90%: sólo se publican los artículos de mayor calidad. La bibliometría ofrece un medio para evaluar la calidad mediante el número de citas, el factor de impacto de la revista (FI), la clasificación por cuartiles y los índices h de los autores, entre otros datos bibliométricos. Las citas y los índices h reflejan la calidad de la investigación publicada dentro de la comunidad científica. Las altmetrics demuestran el interés por el artículo entre el grupo de pares de los autores. La reciente publicación de Runzel et al (2021) ilustra claramente cómo las combinaciones de bibliometría y altmetría pueden utilizarse con éxito para evaluar la calidad de casi 5000 artículos publicados por los Programas de Investigación del CGIAR durante 2017-2020. La Nota Técnica - Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto del GCIAI Único amplía enormemente el número de bibliometrías potenciales que podrían utilizarse para evaluar la calidad.
¿Existen alternativas a las citas y al FI? Los gigantes de la edición científica, como Elsevier, utilizan las citas y los FI para controlar la calidad de sus revistas. Un mayor FI se traduce en mayores ventas de suscripciones a revistas. Como estas empresas son las propietarias de la mayoría de las revistas científicas, cualquier alternativa tendría que contar con su aprobación, lo que es poco probable, ya que parecen estar contentas con el statu quo. Actualmente no parece haber ninguna alternativa reconocida. Un artículo reciente de Slafer y Savin (2020) señala que la calidad de una revista (FI) como indicador del impacto probable de un artículo es aceptable cuando la evaluación se centra en artículos publicados recientemente.
Importancia de los indicadores cualitativos
Los indicadores cualitativos de la calidad de la investigación son tan importantes como la bibliometría y otros indicadores cuantitativos, y deberían utilizarse siempre junto con la bibliometría. Las evaluaciones de 2020 de los programas de investigación del CGIAR (https://cas.cgiar.org/publications) utilizaron eficazmente una serie de indicadores cualitativos para evaluar los insumos, los procesos y los resultados bajo el paraguas del Marco de Calidad de la Investigación para el Desarrollo, utilizando los elementos de evaluación: pertinencia, credibilidad, legitimidad y eficacia.
El IDRC revisó recientemente su diagnóstico de la calidad de la investigación - firmemente anclado en la evaluación cualitativa - para evaluar más eficazmente la calidad en un contexto de desarrollo (IDRC, 2017). Es interesante el cambio en el uso de indicadores que miran el posicionamiento para el uso. El IDRC ha utilizado con éxito el instrumento RQ+ para evaluar 170 estudios de investigación (McClean y Sen, 2019).
La subjetividad en la evaluación cualitativa no puede eliminarse, pero puede reducirse empleando un equipo de evaluadores y definiendo mejor los criterios, los indicadores y las descripciones.
Los científicos suelen plantear que les interesa más el impacto de su investigación que su evaluación cualitativa. La evaluación de la eficacia en el contexto del posicionamiento para el uso permite valorar el impacto potencial a través de indicadores como el compromiso de las partes interesadas, la integración de la perspectiva de género, la creación de redes y los vínculos con los responsables políticos.
Integración de indicadores cuantitativos (incluida la bibliometría) y cualitativos
El desarrollo y el perfeccionamiento continuos de los indicadores cuantitativos y cualitativos ofrecen la posibilidad de integrarlos para proporcionar una evaluación más completa de la calidad de la investigación para el desarrollo. Se trata de un área apasionante para futuras evaluaciones.
Referencias
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. <https://www.idrc.ca/sites/default/files/sp/Documents%20EN/idrc_rq_asses…;
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant