¿Cómo evaluar la ciencia, la tecnología y la innovación en un contexto de investigación para el desarrollo? Unas nuevas directrices ofrecen algunas soluciones

Muchas gracias a todos los participantes en esta discusión. Tanto a quienes no conocían las Directrices, como a quienes ya estaban familiarizados con ellas o con diferentes productos de conocimiento relacionados. A continuación, se incluye un resumen de la discusión estructurado en base a sus temas principales.

Reflexiones sobre las Directrices: contenido

Por lo general, la mayoría de los miembros de EvalForward que participaron en la discusión coincidieron en que las Directrices ofrecen algunas soluciones para evaluar la calidad de la ciencia en un contexto de investigación para el desarrollo. En concreto, los participantes indicaron que están “bien documentadas” y son “útiles”, “claras”, “adaptables” y “flexibles”. Dos miembros destacaron la importancia de la flexibilidad de las Directrices, ya que permite aplicarlas a otras organizaciones. Para otro participante constituyen un marco conceptual interesante, una guía flexible y un compendio de métodos y preguntas que también pueden ser útiles en otros contextos de evaluación.

El valor de un criterio de evaluación de la calidad de la ciencia

También hubo consenso en que las cuatro dimensiones de evaluación de la calidad de la ciencia (diseño de la investigación, recursos, procesos y productos) son claras y útiles, con indicadores bien definidos, en especial cuando se utilizan enfoques de métodos combinados. Uno de los participantes observó que las dimensiones reflejan una forma más exploratoria —y menos estandarizada— de realizar evaluaciones relacionadas con la investigación para el desarrollo, enriqueciendo así la profundidad de éstas. Otro miembro que participó en la discusión puso de relieve la creación y el aprovechamiento de asociaciones en el marco de la tercera dimensión (procesos). Una participante se mostró entusiasmada con la posibilidad de utilizar el marco para diseñar un sistema de evaluación a medida para su departamento. Además, las tres preguntas fundamentales recomendadas para evaluar la calidad de la ciencia se consideraron adecuadas para proyectos de investigación para el desarrollo.

En el contexto de la evaluación en curso de la plataforma GÉNERO del CGIAR, una participante observó la utilidad de las Directrices como conjunto de herramientas —­en un contexto de investigación agrícola para el desarrollo— destinado a posicionar la calidad de la ciencia y evaluar al mismo tiempo las tres preguntas fundamentales siguiendo cinco criterios de evaluación del marco del CAD de la OCDE (pertinencia, efectividad, eficiencia, coherencia y sostenibilidad). Una de las enseñanzas principales de la aplicación de las Directrices en este contexto es su capacidad para abarcar diferentes perspectivas: la de los evaluadores, pero también la de los investigadores, con expertos en la materia dedicados a desentrañar las preguntas fundamentales de la evaluación en el marco de las cuatro dimensiones asociadas de evaluación de la calidad de la ciencia.

Varios participantes pidieron aclarar si las Directrices son útiles para evaluar proyectos de desarrollo. Las Directrices se han elaborado para evaluar la investigación para el desarrollo en un contexto en el que el diseño conjunto de ésta se aplicaría en colaboración con las partes interesadas en el desarrollo, que a su vez estarían en condiciones de ampliar las innovaciones para lograr los efectos pretendidos en materia de desarrollo. Aunque se centran en intervenciones de investigación para el desarrollo, consideramos que las Directrices son lo suficientemente flexibles como para adaptarlas a la evaluación de proyectos de desarrollo con aspectos científicos o de investigación. En un taller reciente del CGIAR se analizó la aplicación retroactiva de las Directrices para la evaluación de intervenciones de desarrollo por medio de dos estudios de caso específicos: AVACLIM, un proyecto ejecutado por la FAO, y Feed-the-Future AVCD-Kenya, un proyecto liderado por el Instituto Internacional de Investigación en Ganadería (ILRI, por sus siglas en inglés). Ambos estudios pusieron de manifiesto la versatilidad de las Directrices para ser aplicadas en diversos ámbitos.

Asimismo, varios participantes destacaron la importancia de la evaluación de los efectos. Aunque el alcance de la labor del Departamento de evaluación del CGIAR no incluye éstos, las Directrices consideran la posibilidad (véase la Figura 6) de evaluar los efectos, tanto en lo que respecta al avance en el cumplimiento de los ODS como a otros aspectos. Del mismo modo, en otros contextos y organizaciones puede haber mayores oportunidades para integrar la evaluación de los efectos. Las Directrices se podrían aplicar 3-5 años después de finalizar una intervención, a fin de evaluar los avances en la adopción de tecnologías.

Haciendo referencia a la discusión de 2022, algunas contribuciones hicieron hincapié en el foco de las evaluaciones en la inclusión o los beneficiarios. Es decir, en aquellas comunidades que también podrían ser una parte interesada importante en la investigación y la innovación. En una intervención de desarrollo o de investigación para el desarrollo, un análisis de las partes interesadas permite identificar a los beneficiarios como partes interesadas principales; y el uso de dos de las dimensiones (procesos y productos) permitiría precisar su participación en actividades exitosas de investigación y desarrollo y los beneficios asociados.

Facilitar el aprendizaje derivado de la aplicación y adopción de las Directrices

Los participantes plantearon diversas cuestiones relacionadas con la aplicación o el uso de las Directrices. Entre ellas:

• Si el criterio único de evaluación de calidad de la ciencia capta la esencia de la investigación y el desarrollo;
• La conveniencia de aclarar las diferencias entre evaluaciones de procesos y desempeño;
• La necesidad de incluir hipótesis, en concreto aquéllas que se deben cumplir para que los productos sean aceptados por quienes encargan las evaluaciones;
• La importancia de la coherencia interna y externa;
• La necesidad de definir criterios adecuados de inclusión y exclusión a la hora de diseñar evaluaciones en materia de investigación;
• La importancia de definir el contexto de la investigación, que se considera prioritario en el enfoque Calidad de Investigación Plus (RQ+, por sus siglas en inglés) del Centro internacional de investigación para el desarrollo (CIID).

Los participantes en la discusión formularon diversas sugerencias sobre cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines. También compartieron recomendaciones útiles sobre la necesidad de desarrollar la capacidad para utilizar las nuevas Directrices, incluidos talleres y sesiones de formación, recursos en línea (seminarios web, plataformas de colaboración), asesoramiento por parte de asociados y pruebas con estudios de caso y evaluaciones en curso. En particular, el desarrollo de la capacidad de las partes interesadas pertinentes para comprender y utilizar las Directrices sería apropiado para contribuir a un uso más generalizado y a una mayor participación de la comunidad de evaluación.

Un participante sugirió realizar una metaevaluación (quizás una síntesis) de la utilidad de las Directrices una vez que el CGIAR las haya empleado para evaluar la cartera de proyectos en curso. Sorprendentemente, esto se está haciendo actualmente de forma retroactiva con la cartera anterior de 12 programas principales (ejecutados entre 2012 y 2021), con mejoras notables en la claridad y definición de los resultados. La aplicación de las Directrices en evaluaciones de procesos y desempeño en diferentes contextos y carteras revelará nuevas enseñanzas para seguir reforzando y perfeccionando esta herramienta.

Gracias, Svetlana, por compartir el documento y solicitar nuestra aportación. Mi conocimiento de los sistemas del GCIAI es limitado, pero comparto mis observaciones basadas en mi trabajo previo en programas de investigación y desarrollo agrícola en el contexto asiático.

La evaluación de la investigación y el desarrollo de la agricultura y de las intervenciones asociadas de gestión de los recursos naturales no es sencilla. De ahí que elogie la labor del equipo a la hora de presentar temas importantes de forma concisa y práctica. No obstante, hay algunas observaciones que podrían ser útiles para reflexionar o repensar con el fin de hacerlo más inclusivo y convertirlo en una herramienta de toma de decisiones para las partes interesadas.

Intento limitarme a una pregunta: "¿Cree que las directrices responden a los retos de evaluar la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?".

La directriz puede centrarse más en las perspectivas y la emergencia del sistema: 

El documento ha puesto de relieve el contexto cambiante de la evaluación en el GCIAI. Ha planteado cuestiones importantes relacionadas con el futuro de la seguridad alimentaria con la misión de aportar ciencia e innovación para transformar los sistemas alimentarios, de tierras y de agua en una crisis climática y también menciona los cambios transformadores. Todavía hay margen para integrar estos importantes componentes en la propia administración de la evaluación.

Es posible que la directriz tenga que ir más allá de la evaluación orientada a lo técnico para centrarse en lo inclusivo o en los beneficiarios.

La directriz menciona algunos públicos y usuarios (como los organismos de financiación y ejecución), pero hace poco hincapié en las comunidades, que también podrían ser una parte interesada importante de la investigación y la innovación. Hay muchas actividades de investigación y desarrollo exitosas (como el fitomejoramiento participativo, la selección participativa, la priorización y selección participativa de tecnologías) en las que las comunidades y los agricultores son partes interesadas importantes. Parece que su papel está un poco ausente en esta directriz.

Las vías de impacto de las intervenciones de investigación y desarrollo son largas e impredecibles, por lo que los criterios o preguntas de evaluación deberían abarcar estos aspectos.

Una vez los resultados de la investigación son generados, (también habrá casos en los que la investigación no genere los resultados esperados), el proceso de difusión de la tecnología puede llevar más tiempo debido a un retraso sustancial en el desarrollo y al proceso de adopción, y este proceso puede afectar a la realización del impacto/beneficios de la tecnología dentro del periodo de intervención. Esto también puede influir en los aspectos de sostenibilidad. La integración de estos aspectos podría suponer un reto en el proceso de evaluación de la investigación.

Las reflexiones se basan en mi experiencia como co-investigador principal en la evaluación intermedia del proyecto REG-019-18, el proyecto Nudging for Good.

El proyecto supone una asociación de investigación entre el Instituto Internacional de Investigación sobre Políticas Alimentarias (IFPRI), la Universidad Estatal de Pensilvania/Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO), la Universidad de Ghana, el Hospital Nacional Thai Nguyen, la Universidad de Farmacia y Medicina Thai Nguyen y el Instituto Nacional de Nutrición de Vietnam. Este equipo interdisciplinar abarca una serie de disciplinas, como la epidemiología, la nutrición, la economía y el aprendizaje automático, para combinar una experiencia puntera en tecnología de Inteligencia Artificial (IA).

La asociación de investigación se fundó en la experiencia del IFPRI en sistemas alimentarios que han demostrado que el suministro oportuno de información puede abordar eficazmente las limitaciones de conocimientos que influyen en las elecciones dietéticas. El IFPRI también dirige la investigación y asume las responsabilidades de análisis de datos y comunicación de los resultados. A la Universidad Estatal de Pensilvania/FAO se le encomendó la tarea de ampliar su actual plataforma de IA con funciones adicionales de evaluación dietética y la capacidad de animar a los adolescentes a mejorar sus prácticas alimentarias. Los equipos nacionales, que incluyen la Universidad de Ghana y el Hospital Nacional Thai Nguyen, la Universidad de Farmacia y Medicina Thai Nguyen y el Instituto Nacional de Nutrición de Vietnam, son responsables de la validación en el país y de las pruebas de viabilidad de la tecnología basada en IA.

La investigación consiste en desarrollar, validar y probar la viabilidad del uso de una tecnología basada en IA que permita diagnosticar con precisión la ingesta de alimentos. La investigación se basó en la hipótesis de que el consumo de alimentos y los comportamientos relacionados con la dieta mejorarán si se proporciona a los adolescentes información adaptada que aborde los obstáculos relacionados con sus conocimientos a la hora de elegir alimentos saludables.

Teniendo en cuenta los matices de estas asociaciones de investigación y los objetivos de la evaluación, adoptamos los criterios de pertinencia y eficacia del CAD de la OCDE y los redefinimos ligeramente para adaptarlos a la Iniciativa para la Equidad en la Investigación (RFI). ¿Por qué RFI?

Lavery & IJsselmuiden (2018) y otros académicos destacaron el hecho de que las disparidades estructurales como el acceso desigual a la financiación de la investigación entre los investigadores y las instituciones de investigación y las diferencias en la capacidad institucional capaz de apoyar las asociaciones de investigación dan forma al carácter ético de la investigación, presentando desafíos significativos para las asociaciones de investigación justas y equitativas entre los países de ingresos altos (HIC) y los países de ingresos bajos y medianos (LMIC). 

En respuesta a estos desafíos, se creó la Iniciativa para la Equidad en la Investigación (RFI, por sus siglas en inglés) y se puso a prueba con instituciones de investigación líderes de todo el mundo para desarrollar las capacidades del sistema de investigación e innovación en las instituciones de los países de ingresos bajos y medianos y des países de ingresos altos  a través de la colaboración en la investigación y las asociaciones con instituciones de los PIM (COHRED, 2018c).  Como sistema de presentación de informes y plataforma de aprendizaje, el RFI aumenta la comprensión y el intercambio de innovaciones y mejores prácticas, al tiempo que mejora la equidad, la eficiencia y el impacto de las colaboraciones de investigación con instituciones de PBI y PIM (COHRED, 2018c).  Por lo tanto, el RFI está orientado a apoyar una mejor gestión de las asociaciones de investigación, crear normas para la imparcialidad y la colaboración entre instituciones y socios de investigación, y construir sistemas de investigación globales más sólidos capaces de apoyar la salud, la equidad y el desarrollo en los países de ingresos bajos y medianos (COHRED, 2018a).  Los informes sobre la equidad en la investigación también se han asociado positivamente con las oportunidades de medir la relación entre la calidad de las asociaciones de investigación y el impacto de la propia investigación, creando así una plataforma para la planificación, el diseño, la gestión y la evaluación de programas que podría tener un impacto significativo en la ética y la gestión de los programas de investigación (Lavery & IJsselmuiden, 2018). 

Lavery & IJsselmuiden (2018) enfatizaron que los esfuerzos evaluativos de la equidad en la investigación, por lo tanto, necesitan aclarar y articular los factores que influyen en la equidad en las asociaciones de investigación, aplicar una metodología capaz de operacionalizar el concepto de equidad en la investigación y, a través de la recopilación de evidencia empírica sistemática, demostrar cómo las asociaciones de investigación agregan valor para las organizaciones participantes.

Partiendo de las premisas anteriores y de la lectura de las directrices de evaluación de QoR4D del GCIAI, a continuación expongo mis reflexiones:  

1. Las tres preguntas clave de evaluación recomendadas en la directriz son apropiadas para evaluar la Calidad de la Ciencia (QoS) tras mi reflexión sobre las preguntas de evaluación que utilizamos para evaluar el proyecto Nudging for Good.
2. Las cuatro dimensiones interrelacionadas -Diseño de la investigación, Entradas, Procesos y Salidas- son claras y útiles, ya que captan una forma más exploratoria y menos estandarizada de hacer evaluaciones académicas: la indagación evaluativa.
3. La formación y el desarrollo, así como un compromiso más estrecho entre las partes interesadas, podrían ser un punto de partida adecuado para que el GCIAI apoye la puesta en marcha de la directriz.

Estimados miembros/colegas,

Mi contribución a EvalForward.

Hoy en día, la política y la economía mundiales están impulsadas por la ciencia y la tecnología. La llegada de la pandemia del COVID-19, la epidemia del HIV, las políticas de mercado globales, la gobernanza de Internet, etc. requieren herramientas analíticas para una evaluación eficaz. Así que la pregunta es: ¿pueden el seguimiento y la evaluación medir y seguir el ritmo del advenimiento de la era de la ciencia y la tecnología?

La innovación ha llevado al mundo a este nivel de desarrollo. Por lo tanto, las metodologías innovadoras y la ciencia de datos aplicadas en la ciencia y la tecnología también deberían utilizarse para el seguimiento y la evaluación del progreso de los programas y los resultados.

Más aún, la investigación debe ayudar a que la evaluación sea una herramienta más analítica para las estrategias de aplicación. Dado que la evaluación está orientada a la ciencia porque utiliza metodologías de investigación y por su propósito de aportar mejoras, la evaluación debería ser capaz de generar ideas y conceptos innovadores para la perspectiva de la economía global.

Por lo tanto, las directrices deberían hacer hincapié en la importancia y el papel de la evaluación en la ciencia y la tecnología, así como en la aplicación y los resultados de los programas.

Gracias.

¿Qué otros métodos de recopilación y análisis de datos se deberían desarrollar para evaluar la ciencia y la investigación en las evaluaciones de procesos y desempeño? 

Además de los métodos tradicionales como las encuestas, las entrevistas y la revisión de documentos, podrían emplearse enfoques más novedosos como la minería de datos, el análisis de sentimientos, el análisis de redes sociales y el análisis bibliométrico para obtener perspectivas más completas y diversificadas.

¿Cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines?

El CGIAR podría organizar seminarios web continuos, talleres, asociaciones entre el CG y las instituciones académicas y sesiones de formación para familiarizar a las organizaciones y a otras afines con las directrices. Podrían crearse plataformas de colaboración para el debate, el aprendizaje y el intercambio de buenas prácticas. Además, proporcionar estudios de casos y ejemplos reales de cómo se han aplicado estas directrices y los resultados que han dado podría ayudar a su adopción.

Saludos cordiales

Oluchi

Gracias, Svetlana, por la oportunidad de participar en este debate. A continuación respondo a dos de sus preguntas.

¿Cree que las directrices responden a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?

Las directrices parecen responder a los retos de la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados mediante un marco flexible y bien documentado. No estoy seguro de que un único criterio de evaluación capte la esencia de la investigación y el desarrollo. Creo que la respuesta se encontraría en la reflexión sobre su aplicación en los diversos ejercicios de evaluación que se llevarán a cabo próximamente en el CGIAR, así como en la reflexión sobre la experiencia organizativa previa. Esto puede implicar la identificación de cómo se interpreta en diferentes contextos, y si se puede considerar un mayor desarrollo de los criterios recomendados para una posible segunda versión de las Directrices.

¿Cómo puede el CGIAR apoyar el despliegue de las Directrices con la comunidad de evaluación y organizaciones afines?

Estoy de acuerdo con otros en que los talleres y/o la formación sobre las Directrices podrían ser un medio para desplegar las Directrices y comprometerse con la comunidad de evaluación. Sería productivo hacer hincapié en su flexibilidad y fomentar la reflexión sobre su uso en diferentes contextos organizativos.

En consonancia con mi respuesta a la primera pregunta anterior, sugeriría que se realizara un ejercicio metaevaluativo cuando hubiera más experiencia organizativa en la aplicación de las Directrices. Tendría un valor evidente para el CGIAR, y posiblemente conduciría a una segunda versión mejorada. También sería de gran valor para la comunidad evaluadora, ya que el CGIAR desempeñaría un papel importante a la hora de facilitar el aprendizaje continuo mediante el uso de la metaevaluación, lo que el teórico de la evaluación Michael Scriven ha denominado un importante esfuerzo científico y moral para el campo de la evaluación.

En la Western Michigan University estamos realizando una revisión de síntesis sobre la práctica de la metaevaluación en un período de 50 años. Hemos encontrado muchos ejemplos de metaevaluación de sistemas de evaluación en diferentes contextos. Suponíamos que se estaba haciendo muy poca metaevaluación y nos sorprendió descubrir que hay muchos ejemplos interesantes tanto en la literatura gris como en la académica. Documentar estos trabajos de metaevaluación reforzaría aún más la Guía y su aplicabilidad, además de añadir un valor significativo al compromiso continuo con la comunidad internacional de evaluación.

Participé en un taller en Roma, Italia, los días 27 y 28 de febrero de 2023, que se centró en el Servicio Independiente de Asesoramiento y Evaluación (IAES) del CGIAR y sus nuevas directrices de evaluación. Estas directrices se basan en el Marco de Referencia de Calidad de la Investigación para el Desarrollo (QoR4D) del Consejo Independiente de Ciencia para el Desarrollo (ISDC) del CGIAR. Proporcionan un marco para evaluar la QoR4D dentro del GCIAI y organizaciones similares, incluyendo criterios, dimensiones y métodos.

Durante el taller, compartí mi propia experiencia en la evaluación de la investigación y la ciencia mientras co-construía la estrategia del AWC. El análisis bibliométrico para la estrategia del AWC siguió un enfoque ascendente en dos fases. La primera fase consistió en elaborar un mapa de los proyectos de Agricultura, agua y clima existentes en la UM6P (Universidad Politécnica Mohammed VI). Para validar los resultados, se llevó a cabo un proceso de triangulación utilizando los resultados de la encuesta y las bases de datos de publicaciones. Sin embargo, la integración de la base de datos del proyecto con otras fuentes de datos resultó difícil. En la segunda fase se comparó a la UM6P con sus homólogas internacionales en los campos del Agricultura, agua y clima utilizando indicadores bibliométricos como la cantidad de publicaciones, el impacto (citas, cuartiles) y las conexiones de red. Dado que la universidad es relativamente nueva, el análisis se centró principalmente en las publicaciones científicas.

Antes de asistir al taller, desconocía el CGIAR, el ISDC y la función de evaluación. Sin embargo, el taller me inspiró para comprender mejor el marco de evaluación. Ahora estoy motivado para implementar cambios y desarrollar una nueva metodología para medir la calidad de la investigación y el impacto de las iniciativas del AWC.

De cara al futuro, se proponen dos acciones. En primer lugar, se sugiere adoptar los criterios del CGIAR para la evaluación de la investigación como un nuevo enfoque para medir la calidad y el impacto de la investigación. En segundo lugar, se recomienda evaluar los proyectos y sus resultados para valorar la eficacia y los resultados de las iniciativas de Agricultura, agua y clima. Estas acciones también ayudarán a diseñar nuestro marco de evaluación, teniendo en cuenta las dimensiones de la calidad de servicio, como la pertinencia y la eficacia de los programas/proyectos de investigación, la participación y la transparencia de las asociaciones, y el impacto y la sostenibilidad de los resultados de los programas/proyectos de investigación.

Después de haber participado en el taller de la IAES, he tenido la oportunidad de revisar a fondo las directrices tanto en inglés como en español. Estoy muy satisfecha con estas directrices; proporcionan una base sólida a nivel operativo. Cuando empezamos a debatir el Marco para la calidad del desarrollo de la investigación, me preocupaba especialmente cómo podría contribuir mi función a este esfuerzo; todo parecía de muy alto nivel. Pero, después de leer este documento, puedo imaginarme aplicando y adoptando estas prácticas en mi trabajo.

En general, estoy muy satisfecha con el documento; está cuidadosamente elaborado, bien traducido y es muy útil. ¡Excelente trabajo!

Contribuyo a este rico debate desde la perspectiva de mi experiencia en la gestión de la evaluación en curso de la plataforma Generating Evidence and New Directions for Equitable Results (GENDER) del CGIAR, coordinada por los Servicios de Asesoramiento y Evaluación Independientes (IAES).  Desde esta perspectiva, examino en detalle las preguntas 2, 3 y 1, empezando por una visión general del contexto de la evaluación, el diseño de la misma y terminando con una conclusión clave extraída de la aplicación de las directrices.

Contexto

Las directrices presentan cuatro dimensiones interrelacionadas (diseño de la investigación, insumos, procesos y resultados) que tienen en cuenta las numerosas variables de la realización y el uso de una investigación de alta calidad, enmarcada en el marco de QoR4D y los criterios del CAD de la OCDE. La aplicación no es en absoluto lineal. La actual evaluación de la plataforma GENDER ha servido de prueba. El objetivo de la evaluación es valorar los avances de la plataforma, documentar las lecciones aprendidas y ofrecer recomendaciones orientadas al futuro a medida que evoluciona hacia una plataforma de impacto con un mandato más amplio.

Para abordar las cuestiones centrales de la evaluación, aunque ésta no se construyó en torno a un criterio explícito de "calidad de la ciencia" (QoS, por sus siglas en inglés), las directrices proporcionaron un conjunto de herramientas útiles en un contexto de investigación agrícola para el desarrollo (AR4D, por sus siglas en inglés) para situar la QoS al tiempo que se evaluaban cuestiones clave según los cinco criterios de evaluación del CAD: relevancia, eficacia, eficiencia, coherencia y sostenibilidad. La evaluación de la plataforma, realizada por un equipo multidisciplinar dirigido por un evaluador, integró enfoques participativos, teóricos, centrados en el uso y feministas, y desplegó métodos mixtos para la recopilación de datos.

Para situar el contexto, la Plataforma GENDER sintetiza y amplifica la investigación, crea capacidad y establece orientaciones para que el GCIAI pueda incidir en la igualdad de género, las oportunidades de los jóvenes y la inclusión social en la agricultura y los sistemas alimentarios. La plataforma se estructura en torno a tres módulos interconectados (pruebas, métodos y alianzas). Las directrices se han aplicado al módulo de pruebas, cuyo objetivo es mejorar la cantidad y calidad de las pruebas relacionadas con el género.

Mecanismos

En cuanto al diseño de la evaluación, en consonancia con el informe inicial, el equipo de evaluación elaboró submatrices de evaluación que abarcaban las vías de impacto y el marco de resultados de los módulos de la plataforma. Estas submatrices alimentaron una matriz de evaluación principal. Las matrices, la matriz general (y otros productos) fueron revisadas por un equipo de pares externos, incluidos miembros del Grupo de Referencia de Evaluación de la IAES, y el equipo de la plataforma para reforzar su validez. Estas revisiones se utilizaron posteriormente para revisar los documentos. 

Las cuatro dimensiones de la calidad del servicio desempeñaron un papel clave en la evaluación del módulo de pruebas: estas cuatro dimensiones se asignaron a los criterios de evaluación básicos. Los expertos en la materia que dirigieron la evaluación del módulo de pruebas lo aplicaron sistemáticamente para evaluar el módulo de forma entrelazada basándose en el mapeo que realizaron. Cada una de las evaluaciones de los tres módulos de la plataforma se integró en la evaluación global de la plataforma de forma sinérgica.

Para llevar

Una de las lecciones que cabe extraer de esta experiencia es que la convergencia de distintos puntos de vista es esencial en la aplicación de las directrices. En este caso, el equipo de evaluación multidisciplinar se benefició tanto de la perspectiva del evaluador -dirigido por un evaluador- como de la perspectiva del investigador, con expertos en la materia que eran investigadores (de género) que dirigían la evaluación del módulo de pruebas. Aplicando las directrices, el equipo de evaluación se basó en ambas perspectivas para analizar las preguntas centrales de la evaluación en términos de las cuatro dimensiones de la calidad del servicio. Aunque los equipos de evaluación multidisciplinares no siempre son factibles en determinados contextos, esta multidisciplinariedad puede ser útil a la hora de aplicar las directrices. Sin embargo, es esencial que estos equipos dediquen tiempo suficiente al intercambio de capacidades y al aprendizaje mutuo para reducir la curva de aprendizaje necesaria para la convergencia necesaria para evaluar eficazmente la "calidad del servicio", o para integrarla según los criterios estándar del CAD de la OCDE, como se ha hecho en este caso. En ambos casos, las directrices (y otros derivados de fácil manejo) pueden servir como recursos listos para usar.

La investigación de alta calidad puede ser tan difícil de evaluar como de llevar a cabo. Los investigadores, los gestores de programas y otras personas también pueden encontrar útiles las directrices como herramienta de encuadre para reflexionar sobre las perspectivas de los evaluadores en las fases formativa y/o sumativa de las cadenas de valor de la investigación o la programación para unas estrategias de aplicación y programación más centradas. La aplicación de las directrices a las evaluaciones de procesos y resultados en diferentes contextos y carteras proporcionará información que reforzará y perfeccionará la herramienta.

Por último, la IAES publicará en breve el informe de evaluación de la plataforma GENDER y la evaluación del módulo Evidence en el que se detalla la aplicación de las directrices.

Estimada Svetlana

En referencia al correo electrónico de fecha 7 de junio de 2023 y en respuesta a sus preguntas planteadas el 10 de mayo de 2023 en la plataforma EvalForward, le adjunto mi opinión en un documento word para su consideración [La traducción al español está más abajo]

Gracias.

Parshuram Samal

Ex científico principal, ICAR-NRRI, India

¿Cómo evaluar la ciencia, la tecnología y la innovación en un contexto de investigación para el desarrollo?

Debate sobre la versión beta de las directrices

1. ¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

SI

2. ¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

SI

3. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

OUI. Aunque el criterio para evaluar la calidad de la ciencia capta en gran medida la esencia de la investigación con los conocimientos disponibles en un momento dado, no tiene suficientemente en cuenta los aspectos relacionados con el desarrollo (adopción e impacto de las tecnologías).

4. ¿Tienen experiencia en el uso de otros criterios de evaluación para evaluar intervenciones relacionadas con la ciencia, la investigación, la innovación y el desarrollo? Por favor, descríbanlos y cítenlos.

SI  

Durante mi carrera en el Consejo Indio de Investigación Agrícola, los criterios de evaluación del proceso se tuvieron en cuenta en gran medida durante la formulación y revisión de los proyectos por parte de los expertos y del Consejo de Investigación/Consejo Asesor de Investigación del Instituto.

Los equipos de revisión quinquenal se ocupaban hasta cierto punto de la evaluación de los resultados. Pero esto no era suficiente desde el punto de vista de los responsables políticos y los organismos de financiación de proyectos, que se preguntan por los beneficios para la sociedad.  Por eso solía realizar evaluaciones de impacto de las tecnologías/intervenciones en situaciones agrícolas reales en la zona del proyecto o en la zona seleccionada. Estas evaluaciones tienen en cuenta el aumento de los ingresos y el empleo de los pequeños agricultores, así como el grado de adopción de la tecnología. Durante los últimos diez años de mi carrera, he estado acostumbrado a evaluar la eficacia/impacto del instituto de investigación a nivel estatal y nacional utilizando datos secundarios que muestran no sólo el grado de adopción a nivel estatal/nacional, sino también el rendimiento de la inversión en investigación a nivel de instituto de investigación.

5. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

Los pasos/criterios enumerados para la recopilación de datos son adecuados para las evaluaciones de procesos. Sin embargo, son inadecuados para las evaluaciones de resultados debido a la corta duración del proyecto. Por lo general, los agricultores y la sociedad aprovechan todo el potencial de una tecnología o un producto de éxito una vez finalizado el periodo del proyecto.

El CGIAR gestiona carteras complejas y los productos están sometidos a fenómenos climáticos extremos y a tensiones bióticas en situaciones agrícolas reales. Tomemos el caso de la plataforma de mejora vegetal. El desarrollo de una variedad de cultivo y su proceso de autorización llevan de 7 a 10 años, o incluso más en el caso de algunos cultivos. El impacto total de una variedad (en términos de cobertura de superficie) tarda otros 5 a 10 años en países con una gran extensión geográfica. En la actualidad, la política del CGIAR consiste en crear más variedades intermedias mejoradas (mediante métodos convencionales/biotecnológicos/mutaciones/líneas parentales híbridas, etc. o una combinación de diferentes métodos) en lugar de productos acabados, ya que se comportan de forma diferente en distintos entornos debido a las interacciones entre genes y medio ambiente. Se suministran a diferentes países y se prueban en diferentes entornos de todo el mundo en estaciones de investigación durante un periodo de tiempo. Hay éxitos y fracasos. Los productos que mejor se comportan en el medio ambiente sólo se recomiendan a los agricultores para su cultivo/adopción. Los organismos de financiación están más interesados en el número de agricultores pobres que se benefician de las inversiones que han realizado, que no está disponible y no puede evaluarse al final del periodo del proyecto. No es posible obtener datos completos sobre el impacto durante el periodo del proyecto (en particular los beneficios para los pequeños agricultores), como esperan los organismos de financiación. Por lo tanto, la recopilación de datos sobre los principales materiales de mejora suministrados a los diferentes países/centros de investigación y sobre los principales productos de estos entornos/centros de investigación debería llevarse a cabo con fines de evaluación del rendimiento.

6. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

Para perfeccionar las medidas de evaluación de los resultados, se deberían enumerar sesiones adicionales de intercambio de ideas con (más) ejemplos/estudios de casos/historias de éxito de diferentes regiones del mundo que abarquen los institutos del CGIAR y los Sistemas Nacionales de Investigación Agrícola como parte de una plataforma. Dada la complejidad de las carteras del CGIAR y las limitaciones de tiempo y recursos para obtener datos de impacto, las directrices pueden desplegarse. Las lecciones aprendidas del proceso de evaluación servirán para perfeccionar las metodologías en el futuro.

Estimados todos,

Aprecio las Directrices de Evaluación del CGIAR como marco de referencia que proporciona ideas, herramientas y orientación sobre cómo evaluar la calidad de la ciencia, incluso en el contexto de proyectos de desarrollo que incluyen componentes científicos y de investigación. Esta es específicamente mi perspectiva, como evaluadora de proyectos de desarrollo que pueden incluir componentes de investigación o el desarrollo de herramientas científicas para mejorar la eficacia del proyecto en los sectores agrícolas. Hago constar de antemano que no he analizado a fondo las directrices y los documentos conexos y que soy ajeno al CGIAR. Sin embargo, creo que las directrices son una contribución importante.

A falta de directrices similares para evaluar la calidad de la investigación y la ciencia, me doy cuenta de que mi análisis anterior estuvo algo disperso entre los 6 criterios del CAD de la OCDE, aunque abarcaba la mayoría de las dimensiones incluidas en las directrices. En el criterio de pertinencia, por ejemplo, analicé la justificación y el valor añadido de los productos científicos y la calidad de su diseño; así como el grado de "codiseño" con las partes interesadas locales, que las directrices enmarcan como "legitimidad", dentro del criterio de calidad de servicio. En cuanto a la eficiencia, analicé la adecuación de las aportaciones de la investigación, la entrega puntual de los resultados de la investigación, las sinergias internas entre las actividades de investigación y otros componentes del proyecto, y la rentabilidad de los productos científicos. La mayor parte del análisis se centró en la eficacia y utilidad de las herramientas científicas desarrolladas y en la sostenibilidad potencial de los resultados de la investigación. El análisis de la "credibilidad científica" resultó más complicado, ya que el equipo de evaluación no contaba con expertos en la materia. Este concepto se analizó principalmente a partir de las percepciones de las partes interesadas mediante herramientas cualitativas de recopilación de datos. Además, es poco probable que la validación científica de la investigación y las herramientas científicas se consiga dentro de la duración común del proyecto de 3 años. Por lo tanto, pueden realizarse evaluaciones antes de que se produzca la validación científica. Las cuatro dimensiones de las directrices son suficientemente claras y útiles como hilo conductor para elaborar preguntas de evaluación. Yo sólo me centraría más en conceptos como la "utilidad" de las herramientas científicas desarrolladas desde la perspectiva de los beneficiarios finales del proyecto; la "asimilación" de los resultados científicos entregados por las partes interesadas implicadas y los "beneficios" derivados de la investigación y/o las herramientas científicas desarrolladas. En el marco de los proyectos de desarrollo, los componentes científicos suelen estar bastante aislados de otras actividades del proyecto, con pocas sinergias internas. Además, la asimilación de los productos científicos y la reproducción de los resultados suele ser un problema. Creo que es algo en lo que hay que centrarse claramente mediante preguntas de evaluación adecuadas. Por ejemplo, las preguntas de evaluación de la calidad de la ciencia (sección 3.2) no se centran lo suficiente en estos aspectos. EQ3 se centra en cómo los resultados de la investigación contribuyen al avance de la ciencia, pero no en cómo los resultados de la investigación contribuyen a los objetivos de desarrollo, cuál es la aplicación de los resultados de la investigación sobre el terreno o dentro del desarrollo de políticas, cuál es el impacto de los resultados entregados, lo que, en mi opinión, merece una mayor atención y herramientas y orientaciones prácticas. Además de esto, que se basa en mi lectura incipiente de las directrices, pondré a prueba la aplicación de las directrices en las próximas evaluaciones, en caso de que el evaluando incluya componentes de investigación. Esto ayudará a afinar la operacionalización de las directrices a través de la experiencia práctica.

Muchas gracias por compartir el documento y por la oportunidad de hacer comentarios. He examinado las directrices desde la perspectiva de un evaluador con un conocimiento limitado del sistema del CGIAR que se embarca en una nueva evaluación.

Para alguien en mi posición, la guía proporciona antecedentes accesibles sobre el enfoque del CGIAR, definiciones, etc., y enlaces útiles a otros materiales relevantes.  En general, la guía ofrece un interesante marco conceptual en el capítulo 3, una guía flexible en el capítulo 4 y un compendio de métodos y preguntas que también serían útiles en otros contextos de evaluación.

Resulta difícil diseñar un enfoque racionalizado para analizar el impacto a lo largo de períodos prolongados de una gama tan amplia de resultados de investigación.  Quizá se haga demasiado hincapié en la difusión a través de publicaciones académicas formales. Esto se compensa en cierto modo con los esfuerzos por analizar el impacto en tiempo real en la investigación de sistemas, y hay algunos ejemplos excelentes (CG) de estudios multidisciplinares en este sentido.  No he visto ninguna referencia al uso de estudios de casos de evaluación. Éstos resultaron útiles para fundamentar la evaluación de un programa anterior del CGIAR en el que participé y captaron las vías hacia los resultados de desarrollo que pueden no estar reflejados en la literatura formal o en los informes de los proyectos.

Creo que las directrices son un conjunto de recomendaciones para evaluar proyectos u organizaciones. Si el CGIAR quiere ayudar a desplegarlas, tal vez podría promoverlas entre su comunidad y las organizaciones a las que apoya. También podría organizar sesiones de formación para ayudar a la gente a entender cómo aplicar las directrices en su trabajo diario.

• También podrían crear recursos en línea, como vídeos o guías, para ayudar a la gente a entender mejor las directrices y cómo aplicarlas.
• También podrían trabajar con socios para desarrollar herramientas y metodologías de evaluación de proyectos u organizaciones que utilicen las directrices.
• Estos actos también podrían servir de plataforma para compartir ejemplos de proyectos u organizaciones que hayan aplicado con éxito las directrices y debatir las lecciones aprendidas.
• Podrían trabajar con socios para desarrollar programas de tutoría que ayuden a las organizaciones a aplicar las directrices y mejorar con el tiempo.
• Por último, podrían organizar actos para promover las directrices y crear oportunidades para que las partes interesadas se reúnan e intercambien ideas sobre cómo aplicarlas en su trabajo.

Como técnico agrícola con mucha experiencia, sugeriría ayudar o crear personas de referencia que puedan explicar las directrices a las partes interesadas y responder a sus preguntas. También podría contribuir a la creación de recursos para ayudar a la gente a entender mejor las directrices y su aplicación.
Podría proponer que el CGIAR colabore con otras organizaciones para desarrollar herramientas y metodologías de evaluación de proyectos u organizaciones que utilicen las directrices. También podría proponer que el CGIAR organice eventos para promover las directrices y crear oportunidades para que las partes interesadas se reúnan e intercambien ideas sobre cómo aplicarlas en su trabajo.

¿Cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines?

Creo que el CGIAR puede ayudar a las organizaciones afines a utilizar las directrices haciendo hincapié en su mejor característica: la flexibilidad.

La flexibilidad es necesaria. Las directrices se basan en el trabajo del CGIAR, que es tremendamente variado. Un diseño de evaluación común no sería apropiado para el CGIAR. Tampoco lo sería para la mayoría de las organizaciones afines.

La flexibilidad es un término medio. En lugar de utilizar un diseño de evaluación común, cada proyecto podría evaluarse con diseños específicos. A menudo esto no resulta práctico. El coste y el esfuerzo de la individualización limitan el número, el alcance y la oportunidad de las evaluaciones. Una estructura flexible es un término medio práctico. Sugiere lo que organizaciones afines y sus partes interesadas valoran y proporciona un punto de partida a la hora de diseñar una evaluación.

La flexibilidad sirve a otras organizaciones. Lo que hace que las directrices sean útiles para el CGIAR también lo es para otras organizaciones. Las organizaciones pueden adoptar lo que les resulte útil y, a continuación, añadir y adaptar cualquier otra cosa que responda a sus propósitos y contextos.

Tal vez el CGIAR podría ofrecer talleres y recursos en línea (incluyendo ejemplos y estudios de casos) que sugieran cómo seleccionar, adaptar y añadir a sus criterios. No sólo sería un servicio a la comunidad en general, sino una oportunidad de aprendizaje para el CGIAR y sus esfuerzos de evaluación.

Gracias, Seda, por tu importante pregunta. Como se indica en varias ocasiones, las Directrices se basan en el Instrumento de Evaluación RQ+ (www.idrc.ca/RQplus) del Centro Internacional de Investigaciones para el Desarrollo (CIID). De ahí que algunas ideas y sugerencias útiles de una organización de desarrollo formen parte integrante de las Directrices.

Quizás la forma más sencilla de responder a su pregunta sea utilizar la Tabla 8 de la pág. 20 Temas e indicadores de datos cualitativos por dimensión de la QoS, con criterios de evaluación (enlace). Esta tabla se elaboró para evaluar los proyectos de investigación para el desarrollo del CGIAR. En mi opinión, la mayoría de los temas e indicadores de calidad de un proyecto de investigación científica para el desarrollo son igualmente pertinentes para evaluar la calidad de un proyecto de desarrollo. En cuanto al diseño, como evaluadora querría saber si el diseño es coherente y claro y si las metodologías se ajustan a las intervenciones previstas. En cuanto a las aportaciones, me fijaría en la base de conocimientos y la diversidad del equipo del proyecto, si la financiación disponible era suficiente para completar el proyecto satisfactoriamente y si el desarrollo de capacidades era adecuado para las actividades previstas y sería suficiente para garantizar la sostenibilidad del impacto una vez finalizado el proyecto. En cuanto a los procesos, mis principales preguntas serían el reconocimiento y el carácter integrador de las asociaciones, si las funciones y responsabilidades estaban bien definidas y si había riesgos o consecuencias negativas que yo debiera conocer. Por último, en cuanto a los resultados, me interesaría saber si los métodos y herramientas de comunicación eran adecuados, si el trabajo en red previsto incluía la participación de las partes interesadas apropiadas y necesarias, si el proyecto era suficientemente consciente de si el entorno propicio favorecía el éxito del proyecto, en su caso, si se establecían vínculos con los responsables políticos y si la preparación para la ampliación formaba parte de la participación de las partes interesadas.

La sección 4 de las Directrices sobre los pasos clave para evaluar la calidad de la ciencia en la investigación para el desarrollo propone métodos que también son pertinentes para los proyectos de desarrollo. Entre ellos se incluyen la revisión de documentos, las entrevistas, los debates en grupos de discusión, el análisis de redes sociales, la teoría del cambio y el uso de rúbricas para reducir la subjetividad al utilizar indicadores cualitativos. El uso de rúbricas es una piedra angular del Instrumento de Evaluación RQ+ del IDRC.

¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Como experto en evaluación internacional, tengo la suerte de evaluar una amplia gama de proyectos y programas que abarcan la investigación (aplicada y no experimental), el desarrollo y las intervenciones humanitarias. En la última década, tuve la oportunidad de emplear diversos marcos y directrices para evaluar proyectos y propuestas de programas del GCIAI, especialmente con el Centro Mundial de Agrosilvicultura (ICRAF) y el Instituto Internacional de Agricultura Tropical (IITA) en África Central (Camerún y Congo). Por ejemplo, al dirigir la evaluación final del Programa de Cultivos Arbóreos Sostenibles, Fase 2 (PAP2CP) gestionado por el IITA-Camerún, junto con el equipo, revisamos el marco y los criterios del CAD de la OCDE para incluir un criterio científico que abordara las dimensiones de la investigación, como los criterios de investigación de inclusión y exclusión.

A la hora de diseñar protocolos de investigación de alta calidad para una evaluación científica, establecer criterios de inclusión y exclusión para los participantes en el estudio es una práctica estándar y obligatoria. Por ejemplo, deben tenerse en cuenta los criterios de inclusión definidos como las características clave de la población objetivo que los evaluadores utilizarán para responder a su pregunta de investigación (por ejemplo, características demográficas y geográficas de la ubicación objetivo en las dos regiones de Camerún). Se trata de criterios importantes para comprender el área de investigación y conocer mejor a la población de estudio. A la inversa, los criterios de exclusión abarcan las características de los posibles participantes en el estudio que cumplen los criterios de inclusión pero presentan características adicionales que podrían interferir en el éxito de la evaluación o aumentar su riesgo de obtener un resultado desfavorable (p. ej., características de las personas elegibles que las hacen muy propensas a perderse durante el seguimiento, faltar a las citas programadas para recopilar datos, proporcionar datos inexactos, presentar comorbilidades que podrían sesgar los resultados del estudio o aumentar su riesgo de sufrir acontecimientos adversos). Estos criterios también pueden considerarse en cierta medida parte de los temas transversales, pero siguen sin estar cubiertos por los criterios y el marco de evaluación del CAD de la OCDE, por lo que pueden convertirse en un reto para evaluar la calidad de una evaluación de la ciencia/investigación y el rendimiento.

¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación?

Un examen exhaustivo de las cuatro dimensiones muestra que son claras y útiles, especialmente cuando se trata de un enfoque de métodos mixtos que incluye métodos cuantitativos y cualitativos e indicadores adecuados. Dado que, sin embargo, el contexto y la justificación son siempre los mejores impulsores de la objetividad para el diseño de la investigación, los procesos de investigación, incluida la recopilación de datos/pruebas fiables y válidos para apoyar el proceso de toma de decisiones, es muy importante que los evaluadores no sólo definan los criterios de inclusión y exclusión adecuados al diseñar una investigación científica, sino que también evalúen cómo esas decisiones afectarán a la validez externa de los resultados esperados. Por tanto, a partir de esos criterios de inclusión y exclusión, podemos emitir un juicio sobre su impacto en la validez externa de los resultados esperados. Emitir esos juicios requiere un conocimiento profundo del ámbito de la investigación (contexto y justificación), así como de la dirección en que cada criterio podría afectar a la validez externa del estudio (además de las cuatro dimensiones).

Serge Eric

Estimado Seda, qué gran contribución. Gracias. Demostrar la calidad de la ciencia es importante, pero insuficiente. Esto, y las explicaciones en torno a ello, se queda corto para una organización que afirma que su programa de investigación es para el desarrollo. Las orientaciones parecen insinuantes a este respecto. Como usted dice, y como he aludido en mi respuesta, a uno le gustaría que tuvieran una lectura más sólida y convincente.

Me gustaría complementar las intervenciones que figuran a continuación, así como la pregunta de las FAQ sobre la calidad de la investigación frente al programa de desarrollo. Como sugiere su título, las directrices se centran principalmente en el aspecto científico. Cabe destacar aquí la dimensión "resultados", que se refiere a la calidad de los resultados de la investigación y a las contribuciones al avance de la ciencia. Creo que los autores podrían identificar más claramente cómo se pueden considerar también los resultados concretos de desarrollo relacionados con un área de investigación concreta. Esto sigue sin quedarme claro en las otras tres dimensiones. ¿Podría indicarnos las partes pertinentes de las directrices al respecto?

¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Los días 27 y 28 de febrero de 2023 asistí en Roma (Italia) a un taller sobre el nuevo conjunto de directrices de evaluación del CGIAR. Estas se basan en el Marco de Referencia de Calidad de la Investigación para el Desarrollo (QoR4D) del Consejo Independiente de Ciencia para el Desarrollo (ISDC) del CGIAR, y proporcionan el marco, los criterios, las dimensiones y los métodos para evaluar la Calidad de la Investigación para el Desarrollo, tanto dentro del CGIAR como en otras organizaciones afines. El evento híbrido en línea y presencial se diseñó para ayudar a los profesionales de todo el sistema del CGIAR y de fuera de él a comprender y aplicar las nuevas directrices en sus propios contextos de evaluación.

El taller me pareció informativo, útil e impactante. Para mí, las principales enseñanzas extraídas del taller fueron las siguientes

• Mejora de los procesos de evaluación para valorar el éxito y la eficacia de la calidad de la ciencia a la hora de aportar pruebas para la formulación de políticas;
• El valor del intercambio de conocimientos y experiencia entre facilitadores y participantes en un proyecto de evaluación concreto;
• Compartir y documentar las mejores prácticas, aprovechando los conocimientos y la experiencia de la IAES;
• El desarrollo de "normas" o principios de trabajo para garantizar un compromiso eficaz con los donantes y los agentes pertinentes.
• Apoyar y defender las oportunidades de financiación pública y apoyar al gobierno identificando dónde podemos crear capacidad para un apoyo eficaz a la innovación y cómo podemos supervisar y evaluar eficazmente los proyectos financiados con fondos públicos.

Queda un reto por resolver: cómo aplicar la iniciativa del Marco de Referencia de Calidad de la Investigación para el Desarrollo para evaluar la contribución a los ODS.

Utilizaré las conclusiones del taller en el capítulo de mi próximo libro, titulado Nature-based solution to preserve the wetlands along the critical zone of River Nyong, así como en mi conferencia del máster.

Dr. Norbert Tchouaffe
Instituto Panafricano para el Desarrollo
Camerún

Estimados colegas, 

Agradecemos el reto de abordar el tema, basándonos en las Directrices (de sólo 25 páginas) y teniendo en cuenta la sección de preguntas frecuentes. 

No duden en limitar sus comentarios a una de las preguntas anteriores. 

Para inspirar aún más las reflexiones, les ofrecemos algunos materiales de referencia adicionales del taller (en inglés) : 

• Reflections on workshop: Adaptive co-design of research for development (R4D) evaluations – the need for engagement, learning and ongoing reflection
• Q+A: Former ICAR-NAARM head Dr D. Rama Rao on the QoR4D Frame of Reference workshop
• Q+A: International project management expert Hasna Ziraoui on the QoR4D Frame of Reference workshop
• Q+A: John Gargani on evaluation of research and innovation for development
• Preguntas y respuestas: Emma Rotondo y Rodrigo Ybarnegaray, especialistas de evaluación internacional, acerca del taller sobre el Marco de referencia de la QoR4D (también en anglais) 

1. ¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

He participado en la evaluación de propuestas de programas y proyectos del CGIAR —y de su ejecución— en el último decenio. Es por ello que he utilizado una amplia variedad de marcos y directrices. Para las evaluaciones de 2015 de la primera fase de los programas de investigación del CGIAR, utilizamos una versión modificada del marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que incluía los criterios de relevancia/coherencia, eficacia, impacto y sostenibilidad. En ausencia de un criterio de calidad de la ciencia en dicho marco, evaluamos ésta sin elementos o dimensiones establecidos. Consideramos las asociaciones como transversales y no vinculamos directamente la evaluación de la gobernanza y la gestión con la evaluación de la calidad de la ciencia. Para las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR, empleamos el marco de referencia de la calidad de la investigación para el desarrollo, con sus cuatro elementos fundamentales (relevancia, eficacia, legitimidad y credibilidad) y tres dimensiones (recursos, procesos y productos). La calidad de la ciencia estaba firmemente basada en los elementos de credibilidad y legitimidad, y las tres dimensiones tenían indicadores bien definidos. Durante el proceso, pusimos de relieve la ausencia de la dimensión del diseño de la investigación y su importancia para evaluar la coherencia y la integridad y adecuación metodológicas, así como la ventaja comparativa del CGIAR para abordar desafíos mundiales y regionales.

La versión beta de las Directrices recoge todas estas valiosas enseñanzas, adquiridas en este decenio. Es por ello que considero que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño. Además, durante su elaboración, se han consultado también otros marcos y directrices de evaluación, a fin de comprender mejor la evaluación de las actividades de investigación y desarrollo. Gracias a esto, las Directrices son flexibles y se pueden adaptar a diferentes usuarios y necesidades. Por tanto, creo que son útiles para organizaciones de investigación para el desarrollo, institutos de investigación y organismos de desarrollo.

Recientemente, las Directrices se han utilizado con carácter retroactivo para examinar las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR con un mayor conocimiento de los indicadores cualitativos en cuatro dimensiones. La aplicación de las Directrices clarificó las conclusiones de estas evaluaciones y mejoró la capacidad de sintetizar cuestiones importantes en toda la cartera de programas de investigación del CGIAR.

2. ¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

Las cuatro dimensiones son claras y útiles, especialmente si están acompañadas de criterios establecidos con indicadores bien definidos. Son más adecuadas para un enfoque de evaluación de métodos combinados que utilice indicadores cuantitativos y cualitativos. Además, ofrecen la flexibilidad necesaria para utilizar las Directrices en diferentes etapas de la investigación: desde la fase de presentación de propuestas —en la que se evaluarían el diseño, los recursos y los procesos previstos— hasta las fases de examen intermedio y finalización del proyecto, en las que los productos adquirirían mayor importancia.

3. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

Por mi propia experiencia, considero que el criterio de calidad de la ciencia —con sus elementos intrínsecos de credibilidad (resultados de investigación y fuentes de conocimiento sólidos) y legitimidad (procesos de investigación justos y éticos y reconocimiento de los asociados)— capta la esencia de la investigación y la investigación para el desarrollo. Su capacidad para comprender los fundamentos del desarrollo dependerá de la importancia de la ciencia para el contexto del desarrollo.

Estimada Svetlana,

Gracias por la oportunidad que nos ofreces para comentar las Directrices. Me ha gustado leerlas, pero sólo tengo tiempo para responder a las dos primeras preguntas.

Antes de compartir mis impresiones, me gustaría hacer una advertencia: no tengo experiencia en el ámbito de la investigación. Sin embargo, trabajé con científicos agrícolas durante un tiempo. Y observé que la preocupación de entonces de evaluar los efectos en los destinatarios finales —medidos por la fluctuación en los valores relativos de los activos familiares— a menudo ocultó la falta relativa de información e interés sobre la capacidad y aptitudes de los sistemas locales de I+D/extensión antes, durante y después de los periodos de inversión. Con frecuencia, su papel fundamental en el proceso se redujo a su consideración como hipótesis o riesgos para productos o servicios científicos “buenos”.

Esto dificultó vincular cualquier efecto sostenible en los beneficiarios con información sobre la capacidad institucional en el momento de elaborar los productos de investigación. También podría haber explicado por qué era necesario un cierto grado de descreimiento para confiar en los estudios sobre tasas de rentabilidad de las inversiones (irremediablemente infladas). Todo lo anterior mermó las expectativas de que los esfuerzos para evaluar los efectos de la investigación fueran de gran utilidad para los responsables de la toma de decisiones.

A continuación, incluyo mis respuestas a las dos primeras preguntas. Espero que mis reflexiones les resulten interesantes e incluso útiles.

1. ¿Cree que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Para responder a esta pregunta es preciso conocer los desafíos a los que hacen referencia las Directrices. En este sentido, creo que el título de la sección 1.1 (“Un contexto cambiante para las evaluaciones del CGIAR”) es un poco engañoso. ¿Por qué?

La sección no describe cómo ha cambiado el contexto. Y, por tanto, no explica por qué motivo y de qué manera constituye una dificultad para evaluar la calidad de la ciencia. Más bien, describe el objetivo del CGIAR de lograr un cambio transformador en tres esferas de acción (transformación de los sistemas —¿una tautología? —, sistemas agroalimentarios resilientes e innovación genética) y cinco Objetivos de Desarrollo Sostenible (ODS) que no especifica. En la sección 1.2 se indica que, si bien los donantes del CGIAR se centran en resultados de desarrollo, la evaluación de las intervenciones de este grupo se debe basar en el marco de calidad de la investigación para el desarrollo —orientado a la investigación para obtener resultados de desarrollo— y el marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), orientado al desarrollo. 

Las dos razones esgrimidas para explicar las carencias de los seis criterios del CAD de la OCDE para evaluar la actividad principal del CGIAR —la impredecibilidad de la investigación y los riesgos que entraña, así como el tiempo requerido para obtener resultados— no parecen estar particularmente relacionadas con la labor de este grupo, ni con la ayuda al desarrollo financiada con fondos públicos. En efecto, el posicionamiento del sistema del CGIAR puede hacer que el proceso sea más prolongado. Sin embargo, tal y como todos estamos descubriendo, los entornos operativos son tan impredecibles como los resultados. El contexto importa. Los resultados son impredecibles. La investigación científica, lo que ofrece y los efectos que tiene en el desarrollo probablemente no sean tan diferentes como sugieren las Directrices. En lo que respecta a la evaluación de la investigación científica, la peculiaridad radica en el personal del CGIAR y la necesidad de garantizar que su labor tenga un elevado nivel científico. Es decir, en su legitimidad y credibilidad. Sin embargo, no me queda claro cómo se ajustan estos dos elementos —extraídos del marco de referencia de la calidad de la investigación para el desarrollo— a las características específicas de la actividad principal del CGIAR y de qué manera logran subsanar las carencias de los seis criterios de evaluación del CAD de la OCDE. ¿O quizás se me esté escapando algo?

Al comienzo de la sección 2.2 se definen las evaluaciones de procesos y desempeño. No logro apreciar las diferencias entre ellas. De hecho, me parecen muy similares. Tanto que me pregunto por qué no bastaría con una de ellas. Las evaluaciones de procesos se describen como autoevaluaciones finales de todo el CGIAR y los resultados están dentro del alcance de las evaluaciones de desempeño. Por su parte, éstas se describen como evaluaciones más formativas y reiteran la referencia a líneas de investigación similares. Evalúan el desempeño de la organización y los modelos operativos, al igual que las evaluaciones de procesos, que evalúan el funcionamiento organizativo, los instrumentos, mecanismos y prácticas de gestión, así como la experiencia con marcos, políticas, criterios y procedimientos del CGIAR. Dado que “la investigación es impredecible y entraña riesgos”, ¿por qué no se menciona ninguna hipótesis? Éstas definen —de forma indirecta— aquello que no se conoce. Para los directores de investigación y las propias evaluaciones (y su oportunidad), las hipótesis deberían ser tan importantes o más que los propios resultados. Véase a continuación.

La explicación —incluida en el Cuadro 2— de las diferencias entre la consideración de los criterios de relevancia y eficacia en el marco del CAD de la OCDE y el marco de calidad de la investigación para el desarrollo del CGIAR es limitada. Mientras que la diferencia relacionada con la relevancia explica de forma clara por qué es necesario el CGIAR, la relativa a la eficacia es muy poco precisa (para prever y evaluar). ¿Qué impide que las razones por las que el CGIAR proporciona conocimientos, productos y servicios —para abordar un problema y contribuir a soluciones innovadoras— no puedan enmarcarse como objetivos y/o resultados? Y en especial cuando las Directrices establecen que las evaluaciones de desempeño evalúan objetivos y/o resultados. 

2. ¿Considera que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

Esta sección proporciona una explicación clara y útil de las cuatro dimensiones interrelacionadas (diseño de la investigación, recursos, procesos y productos), que se utilizan para realizar una evaluación equilibrada de la calidad general de la ciencia. 

Algunas observaciones:

“Pensar en la ventaja comparativa durante el proceso de diseño del proyecto puede dar lugar a asociaciones beneficiosas para todas las partes, aumentar la efectividad del CGIAR a través de la especialización y reorientar los recursos escasos para destinarlos a los fortalezas relativas del sistema”. https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

1) Teniendo esto en cuenta, y tal y como se mencionó anteriormente en la sección 2.3, convendría explicar que el diseño de la investigación incluye demostrar —que no afirmar— que el CGIAR tiene una ventaja comparativa. Para ello se debería seguir el proceso de cuatro pasos descrito en la nota técnica a la que hace referencia el enlace anterior. Este proceso genera evidencias que permiten determinar si el CGIAR tiene o no una ventaja comparativa y dar luz verde o descartar una inversión. 

2)  El cuadro 3 es muy útil para relacionar las cuatro dimensiones de la calidad de la ciencia con los seis criterios de evaluación del CAD de la OCDE. Me gusta especialmente la nota sobre la consideración del principio de género, diversidad e inclusión. Sin embargo, no me queda claro por qué el criterio de coherencia se limita a la coherencia interna y no va más allá de las dos dimensiones indicadas (diseño de la investigación y recursos). La coherencia externa es tan importante o más. En especial en lo que respecta a cómo y en qué medida se complementan los productos, se armonizan con otros y se garantiza que les añaden valor en fases posteriores del proceso. 

3)  Aunque la credibilidad y legitimidad científicas son fundamentales, gestionar y coordinar los procesos para que los productos sean relevantes para los clientes es igual de importante. 

4)  Me gusta la descripción de los procesos, en especial la creación y el aprovechamiento de asociaciones.

5)  El alcance de la evaluación de la calidad de la ciencia también debería hacer referencia a las hipótesis. En concreto, a aquéllas que se deben cumplir para que los productos sean aceptados por la organización cliente, ya sea un servicio nacional de extensión u otra entidad. Esto se debería hacer antes de llevar a cabo un estudio de impacto o una evaluación del desempeño. Digo esto porque, tal y como se ha mencionado anteriormente, la incertidumbre e impredecibilidad de la investigación están relacionadas con el proceso que permite obtener los productos, pero también con la gestión de la hipótesis de que el proceso para lograr los efectos perdurará una vez que los productos hayan sido “proporcionados” Esto se debe descubrir antes de que sea demasiado tarde. De este modo se reduce el riesgo de rechazo. Obtener una buena puntuación en el criterio de calidad de la ciencia no garantiza que el producto o servicio sea aceptado y utilizado por el cliente. Cabe recordar que los donantes del CGIAR están interesados en la labor desarrollada, no en la calidad de la ciencia.