RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

He participado en dos ejercicios del Marco de Excelencia en la Investigación (REF) en el Reino Unido (2014 y 2021) que evalúan la excelencia en la investigación de muchas disciplinas e instituciones diferentes. Además de evaluar los resultados de la investigación, también se evalúan los estudios de impacto y el entorno de la investigación, lo que da lugar a una puntuación mixta en la que los resultados tienen la mayor ponderación, pero el impacto aumenta su peso entre 2014 y 2021. 

Se realiza principalmente a través de la revisión por pares, pero incluye la bibliometría (realizada de forma centralizada y proporcionada a usted, por lo que todo se hace de la misma manera). La bibliometría se puede "utilizar" para mejorar la puntuación en lugar de reducirla.
Curiosamente, los mismos investigadores e instituciones obtienen una buena puntuación en todos los ámbitos, aunque se obtienen "pináculos" en algunas áreas de investigación específicas y/o un mayor impacto, etc. Así, los que obtienen una gran puntuación de 3 y 4* (excelencia internacional y liderazgo mundial) suelen tener también una alta puntuación en impacto y/o entornos de investigación, como cabría esperar.

Lo anterior se beneficia de un período sustantivo del Ejercicio de Evaluación de la Investigación antes del Marco de Excelencia de la Investigación (REF) y de mucha información conocida sobre la baselación/normalización. Por ejemplo, en agricultura/alimentación/veterinaria (mi panel), teníamos información sobre las citas típicas, etc. para el subtema, y así podíamos ver si estaba por encima/por debajo de la norma junto con nuestra propia revisión por pares.

Se puede encontrar más información aquí: https://www.ref.ac.uk para 2021 y aquí https://www.ref.ac.uk/2014/ para el ejercicio de 2014 que ha sido analizado por muchos y hay bastante ciencia sobre el REF y la información de las mejores formas de hacerlo en el futuro.
Tiene un incentivo tanto financiero como de reputación, lo que significa que "es un gran negocio" para las universidades del Reino Unido, que invierten mucho tiempo y dinero en él. 

Creo que la amplitud de la cobertura y la consideración del rigor, la originalidad y la novedad, etc., en el caso de los resultados, y el alcance, la importancia y el impacto en el caso de los estudios de impacto, así como una serie de indicadores sobre la cultura de la investigación en el caso del entorno de la investigación, ofrecen una amplia visión de la excelencia, y el hecho de que se juzgue por el tema y en relación con otros trabajos realizados sobre ese tema, etc., significa que es muy completo y resistente; sin embargo, se necesita mucho tiempo y dinero para hacerlo. Sigue habiendo un debate sobre cuánto se podría hacer utilizando algoritmos y no la revisión por pares en las materias más STEM (Ciencia, Tecnología, Ingeniería y Matemáticas).