RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

Existen varias herramientas innovadoras para aprovechar los datos bibliométricos para obtener información más allá de las métricas de citas, lo que puede dar más profundidad a la evaluación de la ciencia: como se señala en otras contribuciones, las técnicas de análisis de redes sociales pueden aplicarse para identificar redes de colaboración científica o de instituciones de financiación sobre un tema determinado. 

Además, reconociendo que las métricas tradicionales y novedosas (como las altmetrics) tienden a centrarse en la importancia de la investigación dentro de la comunidad científica y no logran desentrañar el alcance más allá de las redes de investigadores, hemos publicado recientemente un artículo en el que utilizamos un enfoque de métodos digitales para evaluar las formas "blandas" de influencia de la ciencia del clima en el espacio político. Nuestro estudio propuso un marco para evaluar la influencia más amplia del Programa de Investigación del GCIAI sobre el Cambio Climático, la Agricultura y la Seguridad Alimentaria (CCAFS) a través de las representaciones de los medios de comunicación en línea. 

Al considerar las redes y las narrativas en línea como evidencia de la influencia, reutilizamos artefactos digitales disponibles públicamente para evaluar el alcance del CCAFS entre las partes interesadas en varios niveles. Evaluamos la dinámica de la difusión de la información, la interacción y la amplificación del discurso como representaciones de cómo el CCAFS apoyó la formulación de políticas en varios niveles de compromiso, en lugar de simplemente examinar los resultados políticos "formales" reportados en los mecanismos de seguimiento, o las métricas de impacto académico.

Centrándonos en la importancia de traducir la ciencia del clima en una política viable, se aplicaron Google Trends, el análisis de hipervínculos, el análisis de redes y la minería de textos en un marco integrado para evaluar la centralidad y la influencia del CCAFS en la interfaz ciencia-política del clima. Nuestro enfoque señala la posibilidad de aprovechar los métodos basados en datos para evaluar las interacciones y estimar la influencia. Como tal, el desarrollo de marcos de evaluación integrales por parte de los programas de investigación climática requiere el establecimiento de indicadores que capten la influencia desde una perspectiva holística, no sólo basada en indicadores tradicionales, sino también en relación con la mensajería, la visibilidad, el intercambio de conocimientos y el compromiso.

Referencia: 

Carneiro B., Resce G., Läderach, P., Schapendonk, F., Pacillo, G. (2022) What is the importance of climate research? An innovative web-based approach to assess the influence and reach of climate research programs, Environmental Science & Policy, 133, https://doi.org/10.1016/j.envsci.2022.03.018