Jillian [user:field_middlename] Lenne

Jillian Lenne

Consultant
Independent consultant
Reino Unido

I have been involved in evaluation of research quality for the past 12 year (research papers as an editor also of projects and programs

My contributions

  • Proving the value of agroecology for farmers and food systems: what methods and evidence do we have?

    Discussion

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido

      Me gustaría contribuir al debate con el siguiente artículo. Ha sido publicado recientemente por Outlook on Agriculture en un número especial sobre agroecología:

      “Measuring agroecology and its performance: An overview and critical discussion of existing tools and approaches” (en inglés)

      Matthias S Geck, Mary Crossland y Christine Lamanna

      Outlook on Agriculture 52:349-359

      https://journals.sagepub.com/doi/full/10.1177/00307270231196309

      Resumen

      Los sistemas agrarios y alimentarios (SAA) son intrínsecamente multifuncionales y representan uno de los principales motores de las crisis mundiales, pero al mismo tiempo encierran un enorme potencial para abordar múltiples retos simultáneamente y contribuir de forma sistémica a la consecución de los objetivos de desarrollo sostenible. Las actuales mediciones del rendimiento de los sistemas agrarios y alimentarios a menudo no tienen en cuenta esta multifuncionalidad, centrándose desproporcionadamente en la productividad y la rentabilidad, excluyendo así las "externalidades", es decir, los valores medioambientales y sociales clave creados por los sistemas agrarios y alimentarios. La agroecología se reconoce cada vez más como un enfoque prometedor para la sostenibilidad del sistemas agrarios y alimentarios, debido a su naturaleza holística y transformadora. Este creciente interés y compromiso con la agroecología por parte de diversos actores implica la necesidad de enfoques armonizados para determinar cuándo una práctica, un proyecto, una inversión o una política pueden considerarse agroecológicos, así como enfoques que garanticen que los múltiples valores económicos, medioambientales y sociales creados por los sistemas agrarios y alimentarios se capturan adecuadamente, creando así igualdad de condiciones para comparar la agroecología con las alternativas. En esta contribución al número especial sobre agroecología, presentamos una visión general de las herramientas y marcos existentes para definir y medir la agroecología y sus resultados, y debatimos críticamente sus limitaciones. Identificamos varias deficiencias, como la escasez de enfoques que permitan medir la agroecología y su rendimiento a escala de paisaje y de sistema alimentario, y el uso de indicadores estandarizados para medir la integración de la agroecología, a pesar de su especificidad contextual. Estas reflexiones ponen de relieve la necesidad de evaluaciones centradas en estas escalas ignoradas y de investigación sobre la mejor manera de conciliar la necesidad de enfoques comparables a nivel mundial con la evaluación de la agroecología de una manera localmente relevante. Por último, esbozamos las iniciativas en curso en nombre de la Alianza para la Transformación de la Agroecología que pretenden superar estas deficiencias y ofrecen una vía prometedora para trabajar en la armonización de los enfoques. Invitamos a todos los lectores a contribuir a estos esfuerzos de colaboración de acuerdo con el principio agroecológico de participación y cocreación del conocimiento.

       

  • How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions

    Discussion

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido

      Gracias, Seda, por tu importante pregunta. Como se indica en varias ocasiones, las Directrices se basan en el Instrumento de Evaluación RQ+ (www.idrc.ca/RQplus) del Centro Internacional de Investigaciones para el Desarrollo (CIID). De ahí que algunas ideas y sugerencias útiles de una organización de desarrollo formen parte integrante de las Directrices.

      Quizás la forma más sencilla de responder a su pregunta sea utilizar la Tabla 8 de la pág. 20 Temas e indicadores de datos cualitativos por dimensión de la QoS, con criterios de evaluación (enlace). Esta tabla se elaboró para evaluar los proyectos de investigación para el desarrollo del CGIAR. En mi opinión, la mayoría de los temas e indicadores de calidad de un proyecto de investigación científica para el desarrollo son igualmente pertinentes para evaluar la calidad de un proyecto de desarrollo. En cuanto al diseño, como evaluadora querría saber si el diseño es coherente y claro y si las metodologías se ajustan a las intervenciones previstas. En cuanto a las aportaciones, me fijaría en la base de conocimientos y la diversidad del equipo del proyecto, si la financiación disponible era suficiente para completar el proyecto satisfactoriamente y si el desarrollo de capacidades era adecuado para las actividades previstas y sería suficiente para garantizar la sostenibilidad del impacto una vez finalizado el proyecto. En cuanto a los procesos, mis principales preguntas serían el reconocimiento y el carácter integrador de las asociaciones, si las funciones y responsabilidades estaban bien definidas y si había riesgos o consecuencias negativas que yo debiera conocer. Por último, en cuanto a los resultados, me interesaría saber si los métodos y herramientas de comunicación eran adecuados, si el trabajo en red previsto incluía la participación de las partes interesadas apropiadas y necesarias, si el proyecto era suficientemente consciente de si el entorno propicio favorecía el éxito del proyecto, en su caso, si se establecían vínculos con los responsables políticos y si la preparación para la ampliación formaba parte de la participación de las partes interesadas.

      La sección 4 de las Directrices sobre los pasos clave para evaluar la calidad de la ciencia en la investigación para el desarrollo propone métodos que también son pertinentes para los proyectos de desarrollo. Entre ellos se incluyen la revisión de documentos, las entrevistas, los debates en grupos de discusión, el análisis de redes sociales, la teoría del cambio y el uso de rúbricas para reducir la subjetividad al utilizar indicadores cualitativos. El uso de rúbricas es una piedra angular del Instrumento de Evaluación RQ+ del IDRC.

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido
      1. ¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

      He participado en la evaluación de propuestas de programas y proyectos del CGIAR —y de su ejecución— en el último decenio. Es por ello que he utilizado una amplia variedad de marcos y directrices. Para las evaluaciones de 2015 de la primera fase de los programas de investigación del CGIAR, utilizamos una versión modificada del marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que incluía los criterios de relevancia/coherencia, eficacia, impacto y sostenibilidad. En ausencia de un criterio de calidad de la ciencia en dicho marco, evaluamos ésta sin elementos o dimensiones establecidos. Consideramos las asociaciones como transversales y no vinculamos directamente la evaluación de la gobernanza y la gestión con la evaluación de la calidad de la ciencia. Para las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR, empleamos el marco de referencia de la calidad de la investigación para el desarrollo, con sus cuatro elementos fundamentales (relevancia, eficacia, legitimidad y credibilidad) y tres dimensiones (recursos, procesos y productos). La calidad de la ciencia estaba firmemente basada en los elementos de credibilidad y legitimidad, y las tres dimensiones tenían indicadores bien definidos. Durante el proceso, pusimos de relieve la ausencia de la dimensión del diseño de la investigación y su importancia para evaluar la coherencia y la integridad y adecuación metodológicas, así como la ventaja comparativa del CGIAR para abordar desafíos mundiales y regionales.

      La versión beta de las Directrices recoge todas estas valiosas enseñanzas, adquiridas en este decenio. Es por ello que considero que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño. Además, durante su elaboración, se han consultado también otros marcos y directrices de evaluación, a fin de comprender mejor la evaluación de las actividades de investigación y desarrollo. Gracias a esto, las Directrices son flexibles y se pueden adaptar a diferentes usuarios y necesidades. Por tanto, creo que son útiles para organizaciones de investigación para el desarrollo, institutos de investigación y organismos de desarrollo.

      Recientemente, las Directrices se han utilizado con carácter retroactivo para examinar las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR con un mayor conocimiento de los indicadores cualitativos en cuatro dimensiones. La aplicación de las Directrices clarificó las conclusiones de estas evaluaciones y mejoró la capacidad de sintetizar cuestiones importantes en toda la cartera de programas de investigación del CGIAR.

      1. ¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

      Las cuatro dimensiones son claras y útiles, especialmente si están acompañadas de criterios establecidos con indicadores bien definidos. Son más adecuadas para un enfoque de evaluación de métodos combinados que utilice indicadores cuantitativos y cualitativos. Además, ofrecen la flexibilidad necesaria para utilizar las Directrices en diferentes etapas de la investigación: desde la fase de presentación de propuestas —en la que se evaluarían el diseño, los recursos y los procesos previstos— hasta las fases de examen intermedio y finalización del proyecto, en las que los productos adquirirían mayor importancia.

      1. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

      Por mi propia experiencia, considero que el criterio de calidad de la ciencia —con sus elementos intrínsecos de credibilidad (resultados de investigación y fuentes de conocimiento sólidos) y legitimidad (procesos de investigación justos y éticos y reconocimiento de los asociados)— capta la esencia de la investigación y la investigación para el desarrollo. Su capacidad para comprender los fundamentos del desarrollo dependerá de la importancia de la ciencia para el contexto del desarrollo.

       

  • Evaluating agroecology: what is your experience?

    Discussion

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido

      Sugiero que el primer paso sea definir qué se entiende por agroecología y por enfoques agroecológicos de la investigación y el desarrollo agrícolas. Muchas de las herramientas (por ejemplo, los indicadores cuantitativos y cualitativos) disponibles para evaluar la AR4D tienen en cuenta las cuestiones medioambientales y socioeconómicas y son adecuadas para la agroecología.

  • How to evaluate science, technology and innovation in a development context?

    Discussion

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido

      Las Evaluaciones de Casos de Resultados a Impactos (OICRs) que formaron parte de las Evaluaciones de Programas de Investigación del CGIAR en 2020 deberían ampliarse como parte integral de las futuras evaluaciones de las iniciativas de Un CGIAR. Proporcionan una forma eficaz de combinar las evaluaciones cuantitativas, bibliométricas y cualitativas de la calidad de la investigación agrícola para el desarrollo.

    • Jillian Lenne

      Consultant Independent consultant
      Reino Unido

      Evaluación de la calidad de la investigación para el desarrollo

      Habiendo participado en la revisión y evaluación de proyectos y programas de investigación agrícola para el desarrollo durante varias décadas, me gustaría compartir algunas observaciones.

      Valor de la bibliometría y la altmetrics

      A pesar de la cobertura negativa de la bibliometría en la literatura actual, ésta tiene una función importante en la evaluación de la calidad de los trabajos de investigación agrícola para el desarrollo publicados. Los artículos publicados ya han superado un umbral de alta calidad, ya que han sido revisados por científicos experimentados. La mayoría de las revistas internacionales tienen tasas de rechazo superiores al 90%: sólo se publican los artículos de mayor calidad.  La bibliometría ofrece un medio para evaluar la calidad mediante el número de citas, el factor de impacto de la revista (FI), la clasificación por cuartiles y los índices h de los autores, entre otros datos bibliométricos. Las citas y los índices h reflejan la calidad de la investigación publicada dentro de la comunidad científica. Las altmetrics demuestran el interés por el artículo entre el grupo de pares de los autores. La reciente publicación de Runzel et al (2021) ilustra claramente cómo las combinaciones de bibliometría y altmetría pueden utilizarse con éxito para evaluar la calidad de casi 5000 artículos publicados por los Programas de Investigación del CGIAR durante 2017-2020. La Nota Técnica - Análisis bibliométrico para evaluar la calidad de la ciencia en el contexto del GCIAI Único amplía enormemente el número de bibliometrías potenciales que podrían utilizarse para evaluar la calidad.

      ¿Existen alternativas a las citas y al FI? Los gigantes de la edición científica, como Elsevier, utilizan las citas y los FI para controlar la calidad de sus revistas. Un mayor FI se traduce en mayores ventas de suscripciones a revistas. Como estas empresas son las propietarias de la mayoría de las revistas científicas, cualquier alternativa tendría que contar con su aprobación, lo que es poco probable, ya que parecen estar contentas con el statu quo. Actualmente no parece haber ninguna alternativa reconocida. Un artículo reciente de Slafer y Savin (2020) señala que la calidad de una revista (FI) como indicador del impacto probable de un artículo es aceptable cuando la evaluación se centra en artículos publicados recientemente.

      Importancia de los indicadores cualitativos

      Los indicadores cualitativos de la calidad de la investigación son tan importantes como la bibliometría y otros indicadores cuantitativos, y deberían utilizarse siempre junto con la bibliometría. Las evaluaciones de 2020 de los programas de investigación del CGIAR (https://cas.cgiar.org/publications) utilizaron eficazmente una serie de indicadores cualitativos para evaluar los insumos, los procesos y los resultados bajo el paraguas del Marco de Calidad de la Investigación para el Desarrollo, utilizando los elementos de evaluación: pertinencia, credibilidad, legitimidad y eficacia.

      El IDRC revisó recientemente su diagnóstico de la calidad de la investigación - firmemente anclado en la evaluación cualitativa - para evaluar más eficazmente la calidad en un contexto de desarrollo (IDRC, 2017). Es interesante el cambio en el uso de indicadores que miran el posicionamiento para el uso. El IDRC ha utilizado con éxito el instrumento RQ+ para evaluar 170 estudios de investigación (McClean y Sen, 2019). 

      La subjetividad en la evaluación cualitativa no puede eliminarse, pero puede reducirse empleando un equipo de evaluadores y definiendo mejor los criterios, los indicadores y las descripciones. 

      Los científicos suelen plantear que les interesa más el impacto de su investigación que su evaluación cualitativa. La evaluación de la eficacia en el contexto del posicionamiento para el uso permite valorar el impacto potencial a través de indicadores como el compromiso de las partes interesadas, la integración de la perspectiva de género, la creación de redes y los vínculos con los responsables políticos.

      Integración de indicadores cuantitativos (incluida la bibliometría) y cualitativos

      El desarrollo y el perfeccionamiento continuos de los indicadores cuantitativos y cualitativos ofrecen la posibilidad de integrarlos para proporcionar una evaluación más completa de la calidad de la investigación para el desarrollo. Se trata de un área apasionante para futuras evaluaciones.

      Referencias

      IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. <https://www.idrc.ca/sites/default/files/sp/Documents%20EN/idrc_rq_asses…;

      McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.

      Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.

      Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.

      Jill Lenné

      Editor in Chief, Outlook on Agriculture and Independent Consultant