RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

Estimados colegas:

Nos ha encantado leer los comentarios y experiencias de 23 participantes de diferentes ámbitos. La calidad de la discusión entre una amplia variedad de expertos —incluidos profesionales que no se dedican a la evaluación— pone de manifiesto un consenso general sobre la importancia de formular y utilizar criterios específicos para contextualizar la evaluación de la ciencia, la tecnología y la innovación (CTI). A continuación, encontrarán un resumen del debate. Les invitamos a leer las contribuciones de los diferentes participantes en caso de que no lo hayan hecho aún.

Marco de referencia

Se presentaron los siguientes marcos: el Marco de referencia de la calidad de la investigación para el desarrollo, el Marco de excelencia de la investigación y el instrumento de evaluación Calidad de investigación plus.

El debate principal se centró en los elementos del Marco de referencia de la calidad de la investigación para el desarrollo, vinculados —de manera directa o indirecta— a los criterios de evaluación: pertinencia, legitimidad, eficacia y credibilidad científica.

Para Serdar Bayryyev y Lennart Raetzell, el contexto en el que se utilizan los productos es fundamental para determinar su pertinencia. A la hora de evaluar la eficacia (o la calidad), Serdar Bayryyev sugirió: (1) evaluar la influencia de las actividades y la medida en que los productos de la ciencia, la innovación y la investigación han influido en las políticas, enfoques o procesos; y (2) evaluar el grado de “interconexión” (es decir, la medida en que investigadores e instituciones científicas han interactuado con todas las partes interesadas pertinentes). Lennart Raetzell compartió su experiencia reciente con una evaluación de impacto temática para la Oficina de Cooperación Universitaria al Desarrollo del Consejo Interuniversitario Flamenco (VLIR-UOS, por sus siglas en flamenco) (https://www.vliruos.be) sobre vías para incorporar la investigación, principalmente en el ámbito de la agricultura.

Nanae Yabuki y Serdar Bayryyev coincidieron en la importancia de evaluar el carácter transformador de las actividades de investigación para determinar si producen un cambio verdaderamente transformador, o al menos desencadenan un debate político importante para avanzar hacia dicho cambio. La pertinencia de la CTI es específica del contexto, así como la forma en que desencadena un cambio transformador.

Sonal D Zaveri afirmó que los investigadores del hemisferio sur coinciden en que la investigación debe ser pertinente para las preocupaciones actuales, los usuarios y las comunidades que buscan un cambio. En un contexto de desarrollo, la aceptación y la influencia son tan importantes como la calidad de la investigación. Es por ello que las evaluaciones deben medir qué es importante para las comunidades y las personas. Numerosas evaluaciones se diseñan a distancia y dan preferencia a determinadas opciones en función del poder de la experiencia, la posición o los recursos. Resultaría difícil aceptar la calidad de la ciencia si careciera de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad. Si los hallazgos de las evaluaciones no son utilizados e identificados como propios por sus usuarios —y en especial por quienes tienen poca voz en el programa— no se podrá afirmar que han dado lugar a un bien público o se han utilizado para beneficiar a toda la población. En relación con este tema, Richard Tinsley destacó la importancia de tener en cuenta a los beneficiarios finales de los resultados científicos. Hizo hincapié en la necesidad de identificar con claridad a los clientes principales (los sistemas nacionales de investigaciones agronómicas de los países anfitriones) del Grupo Consultivo sobre Investigaciones Agrícolas Internacionales (CGIAR) y a los beneficiarios finales (un gran número de pequeños agricultores, por lo general anónimos), que continúan estando un poco alejados.

Desde el punto de vista de los donantes, Raphael Nawrotzki sostuvo que los subcomponentes del marco de referencia de la calidad de la investigación para el desarrollo son importantes para medir la calidad de la actividad científica más que los resultados (productos, resultados, impactos) de ésta. De ahí la necesidad de utilizar los criterios de impacto y eficiencia del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) para captar la forma de investigar (el proceso) para el desarrollo y los “resultados” correspondientes. Nawrotzki indicó que los financiadores se centran especialmente en el impacto (¿qué logra la investigación? ¿cuál es su contribución?) y, en menor medida, en la eficiencia (¿cómo se utilizaron los recursos? ¿qué objetivos se lograron para las cantidades invertidas?).

Para Nanae Yabuki, utilizar las evidencias científicas para mejorar el impacto de las intervenciones refleja el mandato de la FAO. Para evaluar estos aspectos, la “utilidad” de los hallazgos de la investigación es más relevante que su “importancia”. De ahí la necesidad de establecer criterios adecuados para cada evaluación.

Norbert Tchouaffe abogó por utilizar la teoría del cambio como herramienta para evaluar el impacto de la interfaz entre ciencia y política en una sociedad concreta, basándose en cinco factores determinantes (puntuaciones en concienciación, conocimientos, actitud, participación y autoevaluación).

Métodos

Los participantes coincidieron en la importancia de utilizar un enfoque de métodos combinados para conjugar indicadores cualitativos y cuantitativos. Raphael Nawrotzki indicó que este enfoque resulta especialmente necesario para evaluar la pertinencia de las cuestiones investigadas y la equidad del proceso.

Métodos cuantitativos: puntos fuertes y limitaciones

Ente los métodos cuantitativos, se mencionó el uso de análisis bibliométricos para:

  • evaluar el impacto de la ciencia (es decir, el impacto en un campo científico) en función del número de citas de un artículo o un capítulo de un libro (Raphael Nawrotzki);
  • evaluar la legitimidad de los hallazgos de la investigación y la credibilidad de los productos de conocimiento (Nanae Yabuki);
  • dar una buena indicación de la calidad de la ciencia, ya que los artículos publicados han sido revisados por científicos experimentados (Jillian Lenne);
  • proporcionar una visión general importante de los esfuerzos realizados y la divulgación científica (Paul Engel);

En relación con la evaluación de la calidad de la ciencia y la innovación, Rachid Serraj mencionó varios ejemplos sobre el uso de índices bibliométricos y de citas de la Web of Science.

Etienne Vignola-Gagné, coautor de la nota técnica, puso de relieve la nueva gama ampliada de dimensiones de los indicadores bibliométricos —incluidas la interdisciplinariedad, la equidad de género, la preimpresión como práctica de ciencia abierta, o la prevalencia de colaboraciones multinacionales complejas—, de utilidad para evaluar la pertinencia y legitimidad. Algunos indicadores bibliométricos se pueden emplear también como indicadores de proceso o incluso de entrada, en lugar de su uso tradicional como indicadores de eficacia. La bibliometría se puede utilizar para supervisar si los programas de investigación interdisciplinar contribuyen realmente a una mayor integración disciplinar en la práctica cotidiana, teniendo en cuenta que los equipos de proyecto y los financiadores suelen subestimar la complejidad de las propuestas de investigación.

Valentina de Col mencionó el empleo de la bibliometría (p. ej. la indexación de la colección principal de la Web of Science, el porcentaje de artículos en acceso abierto, la clasificación de las publicaciones especializadas en cuartiles, las métricas alternativas o altmetrics) para artículos publicados en revistas especializadas. Y el uso de informes de casos en los que la investigación del CGIAR ha contribuido a los resultados y el impacto (OICR, por sus siglas en inglés). Raphael Nawrotzki sugirió otros indicadores bibliométricos relacionados: (a) contribución a los Objetivos de Desarrollo Sostenible (ODS); (b) promedio de citas relativas; (c) publicaciones citadas con frecuencia; (d) índice de distribución de citas.

Keith Child y Serdar Bayryyev señalaron las limitaciones de los análisis bibliométricos. Por ejemplo, no todos los productos de la ciencia, la innovación y la investigación están incluidos y debidamente registrados en las bases de datos bibliográficas, o ni siquiera se llegan a publicar, por lo que no resulta posible evaluarlos en su totalidad. Además, el cálculo del número medio de citas puede estar sesgado: (1) puede prestar demasiada atención a un autor concreto; (2) algunos autores pueden excluir —de manera deliberada— ciertos materiales de referencia de sus publicaciones. Raphael Nawrotzki señaló las limitaciones específicas de la medición del impacto científico por medio de la bibliometría: (1) Períodos de tiempo prolongados (los resultados de las inversiones en investigación agrícola pueden tardar décadas en hacerse visibles; para realizar una medición sólida del impacto científico en términos bibliométricos deben transcurrir unos cinco años desde la finalización de un proyecto o cartera de proyectos); (2) Métricas alternativas (es difícil combinar la bibliometría y las métricas alternativas [altmetrics] para obtener una imagen completa del impacto científico); (3) Relación coste-eficacia (determinar el apoyo atribuible a cada fuente de financiación no es sencillo; medir y calcular la relación coste-eficacia conlleva numerosas limitaciones). Paul Engel amplió la lista de limitaciones de la bibliometría: proporciona muy poca información sobre la divulgación de las políticas, la relevancia contextual, la sostenibilidad, la innovación y la ampliación de las contribuciones generadas a través de las asociaciones de investigación. Ola Ogunyinka afirmó que los beneficiarios finales del CGIAR (los pequeños agricultores y los sistemas nacionales) están muy alejados (acceso, fondos, estructuras débiles, etc.) de las publicaciones especializadas consideradas en los análisis bibliométricos.

En general, Jill Lenne y Raphael Nawrotzki coincidieron en la utilidad de las métricas alternativas (altmetrics).

Graham Thiele sugirió utilizar el análisis de redes sociales (ARS) para examinar quiénes colaboran en las publicaciones y cuál es el contexto social y organizativo de éstas. Se trata de un complemento del análisis bibliométrico, en particular para la dimensión de legitimidad. Valentina de Col utilizó el ARS y el análisis de redes de impacto (INA, por sus siglas en inglés) para investigar las redes de colaboración de dos programas de investigación del CGIAR.

Por último, Graham Thiele advirtió del riesgo de utilizar métodos más avanzados y análisis bibliométricos de mayor precisión (disponibles actualmente y realizados de forma continua) a costa de perder la visión completa que proporcionan otros estudios, como los estudios de casos de resultados y los estudios de impacto. Paul Engel coincidió en esta apreciación sobre la base de su experiencia con la evaluación de la calidad de la ciencia en los programas de investigación del CGIAR.

Guy Poppy introdujo el Marco de excelencia de la investigación (REF, por sus siglas en inglés), que evalúa los resultados de investigación, el entorno de ésta y los estudios de casos de impacto, y permite obtener una puntuación combinada en la que la ponderación de los resultados es la más elevada y el impacto cobra cada vez mayor importancia.

Métodos cualitativos: puntos fuertes y limitaciones

Utilizar métodos cualitativos —junto con la bibliometría y las métricas alternativas— es fundamental para tener una perspectiva más amplia a la hora de evaluar la calidad de la ciencia.

Las evaluaciones cualitativas se pueden realizar por medio de entrevistas y/o encuestas. En lo que respecta a la medición del impacto, Valeria Pesce destacó que los indicadores cualitativos se suelen basar en entrevistas o informes, y que no resulta sencillo dar sentido a la narrativa. Hizo referencia a una contribución de Claudio Proietti en la que presentó ImpresS.

Ibtissem Jouini destacó la fiabilidad de la síntesis de evidencias, si bien poner en práctica este método no es sencillo debido a la variedad de evidencias que se pueden encontrar, los criterios de evaluación, los enfoques, la orientación, los contextos, etc.

Jillian Lenne y Keith Child señalaron también una de las limitaciones de los métodos cualitativos: la subjetividad de las valoraciones que deben realizar los evaluadores.

Sonal D Zaveri puso de relieve la importancia de los enfoques y métodos participativos, describió la diferencia entre “acceso” y “participación”, e hizo referencia al concepto de poder (oculto o explícito). Las mujeres, como depositarias tradicionales de los conocimientos locales e indígenas, se encuentran aisladas de la sociedad interconectada, en la que la información, la comunicación y los conocimientos son “bienes comercializables”.

Valeria Pesce, Etienne Vignola-Gagné y Valentina de Col analizaron herramientas actuales y formas de afrontar desafíos de los indicadores cualitativos y cuantitativos: herramientas informáticas que permiten clasificar la información (en ocasiones de forma automática) en función de conceptos seleccionados, identificar patrones, frecuencia de términos/conceptos, grupos de conceptos, etc. utilizando técnicas de minería de textos y aprendizaje automático, a veces incluso a partir de archivos de vídeo y audio.

Para el análisis narrativo: ATLAS.ti, MAXQDA, Nvivo: son programas para un análisis narrativo potente; Cynefin Sensemaker y Sprockler se utilizan para funcionalidades de diseño y recopilación; NarraFirma es una aplicación web con una sólida base conceptual, que contribuye a diseñar la investigación narrativa y a seguir un proceso de análisis participativo.

Conclusión y próximos pasos

Incluso sin disponer de métodos estandarizados, se deben realizar esfuerzos para diseñar las evaluaciones de la CTI de manera que los resultados se puedan utilizar —en la medida de lo posible— a nivel institucional (por ejemplo, para una planificación estratégica y programática superior, como sugirió Nanae Yabuki), pero también a nivel de quienes se ven afectados (como indicaron Sonal D Zaveri y otros participantes).

Valentina de Coi destacó la importancia de consolidar y adoptar un enfoque estandarizado para medir la calidad de la ciencia en una organización como el CGIAR, a fin de contribuir a medir los resultados con mayor precisión, evaluar la eficacia, mejorar la calidad de los datos, identificar cualquier carencia y agregar la información de los diferentes centros del CGIAR.

La utilidad de esta discusión para el aprendizaje es innegable. En los Servicios de Asesoramiento del CGIAR hemos empezado a elaborar las directrices para poner en práctica los criterios de evaluación de la calidad de la ciencia en la Política de evaluación revisada del CGIAR. Por favor, háganos saber si están interesados en participar en esta iniciativa.

Referencias

Alston, J., Pardey, P. G., & Rao, X. (2020) The payoff to investing in CGIAR research. SOAR Foundation. https://www.cgiar.org/annual-report/performance-report-2020/assessing-cgiars-return-on-investment/

Belcher, B. M., Rasmussen, K. E., Kemshaw, M. R., & Zornes, D. A. (2016). Defining and assessing research quality in a transdisciplinary context. Research Evaluation, 25(1), 1-17.
DOI: 10.1093/reseval/rvv025

Norbert F. Tchiadjé, Michel Tchotsoua, Mathias Fonteh, Martin Tchamba (2021). Ecological engineering to mitigate eutrophication in the flooding zone of River Nyong, Cameroon, Pages 613-633: https://link.springer.com/referenceworkentry/10.1007/978-3-030-57281-5_8

Chambers, R. (1997). Whose reality counts (Vol. 25). London: Intermediate technology publications.

Evans, I. (2021). Helping you know – and show – the ROI of the research you fund. Elsevier Connect. https://www.elsevier.com/connect/helping-you-know-and-show-the-roi-of-the-research-you-fun

Holderness, M., Howard, J., Jouini, I., Templeton, D., Iglesias, C., Molden, D., & Maxted, N. (2021). Synthesis of Learning from a Decade of CGIAR Research Programs.  https://cas.cgiar.org/evaluation/publications/2021-Synthesis

IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. http://hdl.handle.net/10625/56528

Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018. A better measure of research from the global south (nature.com)

McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135. https://doi.org/10.1093/reseval/rvy026

Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC). http://hdl.handle.net/10625/56528

Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140. https://doi.org/10.1177/00307270211024271

Schneider, F., Buser, T., Keller, R., Tribaldos, T., & Rist, S. (2019). Research funding programmes aiming for societal transformations: Ten key stages. Science and Public Policy, 46(3), pp. 463–478. doi:10.1093/scipol/scy074.

Singh,S, Dubey,P, Rastogi,A and Vail,D (2013) Excellence in the context of use-inspired research: Perspectives of the global South Perspective.pdf (amaltas.asia)

Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs. https://doi.org/10.5424/sjar/2020183-16399

Vliruous (2019). Thematic Evaluation of Departmental Projects: Creating the Conditions for Impact. https://cdn.webdoos.io/vliruos/753d44b984f65bbaf7959b28da064f22.pdf

Zaveri, Sonal (2019). “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation. https://bit.ly/3wX5pg8

Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian 2021-IDEAS-book-Transformational-Evaluation.pdf (ideas-global.org)

Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press. https://bit.ly/2RFEMw5