¿Cómo evaluar la ciencia, la tecnología y la innovación en un contexto de investigación para el desarrollo? Unas nuevas directrices ofrecen algunas soluciones

Muchas gracias por compartir el documento y por la oportunidad de hacer comentarios. He examinado las directrices desde la perspectiva de un evaluador con un conocimiento limitado del sistema del CGIAR que se embarca en una nueva evaluación.

Para alguien en mi posición, la guía proporciona antecedentes accesibles sobre el enfoque del CGIAR, definiciones, etc., y enlaces útiles a otros materiales relevantes.  En general, la guía ofrece un interesante marco conceptual en el capítulo 3, una guía flexible en el capítulo 4 y un compendio de métodos y preguntas que también serían útiles en otros contextos de evaluación.

Resulta difícil diseñar un enfoque racionalizado para analizar el impacto a lo largo de períodos prolongados de una gama tan amplia de resultados de investigación.  Quizá se haga demasiado hincapié en la difusión a través de publicaciones académicas formales. Esto se compensa en cierto modo con los esfuerzos por analizar el impacto en tiempo real en la investigación de sistemas, y hay algunos ejemplos excelentes (CG) de estudios multidisciplinares en este sentido.  No he visto ninguna referencia al uso de estudios de casos de evaluación. Éstos resultaron útiles para fundamentar la evaluación de un programa anterior del CGIAR en el que participé y captaron las vías hacia los resultados de desarrollo que pueden no estar reflejados en la literatura formal o en los informes de los proyectos.

Creo que las directrices son un conjunto de recomendaciones para evaluar proyectos u organizaciones. Si el CGIAR quiere ayudar a desplegarlas, tal vez podría promoverlas entre su comunidad y las organizaciones a las que apoya. También podría organizar sesiones de formación para ayudar a la gente a entender cómo aplicar las directrices en su trabajo diario.

• También podrían crear recursos en línea, como vídeos o guías, para ayudar a la gente a entender mejor las directrices y cómo aplicarlas.
• También podrían trabajar con socios para desarrollar herramientas y metodologías de evaluación de proyectos u organizaciones que utilicen las directrices.
• Estos actos también podrían servir de plataforma para compartir ejemplos de proyectos u organizaciones que hayan aplicado con éxito las directrices y debatir las lecciones aprendidas.
• Podrían trabajar con socios para desarrollar programas de tutoría que ayuden a las organizaciones a aplicar las directrices y mejorar con el tiempo.
• Por último, podrían organizar actos para promover las directrices y crear oportunidades para que las partes interesadas se reúnan e intercambien ideas sobre cómo aplicarlas en su trabajo.

Como técnico agrícola con mucha experiencia, sugeriría ayudar o crear personas de referencia que puedan explicar las directrices a las partes interesadas y responder a sus preguntas. También podría contribuir a la creación de recursos para ayudar a la gente a entender mejor las directrices y su aplicación. Podría proponer que el CGIAR colabore con otras organizaciones para desarrollar herramientas y metodologías de evaluación de proyectos u organizaciones que utilicen las directrices. También podría proponer que el CGIAR organice eventos para promover las directrices y crear oportunidades para que las partes interesadas se reúnan e intercambien ideas sobre cómo aplicarlas en su trabajo.

¿Cómo puede contribuir el CGIAR a la difusión de las Directrices en la comunidad de evaluación y en organizaciones afines?

Creo que el CGIAR puede ayudar a las organizaciones afines a utilizar las directrices haciendo hincapié en su mejor característica: la flexibilidad.

La flexibilidad es necesaria. Las directrices se basan en el trabajo del CGIAR, que es tremendamente variado. Un diseño de evaluación común no sería apropiado para el CGIAR. Tampoco lo sería para la mayoría de las organizaciones afines.

La flexibilidad es un término medio. En lugar de utilizar un diseño de evaluación común, cada proyecto podría evaluarse con diseños específicos. A menudo esto no resulta práctico. El coste y el esfuerzo de la individualización limitan el número, el alcance y la oportunidad de las evaluaciones. Una estructura flexible es un término medio práctico. Sugiere lo que organizaciones afines y sus partes interesadas valoran y proporciona un punto de partida a la hora de diseñar una evaluación.

La flexibilidad sirve a otras organizaciones. Lo que hace que las directrices sean útiles para el CGIAR también lo es para otras organizaciones. Las organizaciones pueden adoptar lo que les resulte útil y, a continuación, añadir y adaptar cualquier otra cosa que responda a sus propósitos y contextos.

Tal vez el CGIAR podría ofrecer talleres y recursos en línea (incluyendo ejemplos y estudios de casos) que sugieran cómo seleccionar, adaptar y añadir a sus criterios. No sólo sería un servicio a la comunidad en general, sino una oportunidad de aprendizaje para el CGIAR y sus esfuerzos de evaluación.

Gracias, Seda, por tu importante pregunta. Como se indica en varias ocasiones, las Directrices se basan en el Instrumento de Evaluación RQ+ (www.idrc.ca/RQplus) del Centro Internacional de Investigaciones para el Desarrollo (CIID). De ahí que algunas ideas y sugerencias útiles de una organización de desarrollo formen parte integrante de las Directrices.

Quizás la forma más sencilla de responder a su pregunta sea utilizar la Tabla 8 de la pág. 20 Temas e indicadores de datos cualitativos por dimensión de la QoS, con criterios de evaluación (enlace). Esta tabla se elaboró para evaluar los proyectos de investigación para el desarrollo del CGIAR. En mi opinión, la mayoría de los temas e indicadores de calidad de un proyecto de investigación científica para el desarrollo son igualmente pertinentes para evaluar la calidad de un proyecto de desarrollo. En cuanto al diseño, como evaluadora querría saber si el diseño es coherente y claro y si las metodologías se ajustan a las intervenciones previstas. En cuanto a las aportaciones, me fijaría en la base de conocimientos y la diversidad del equipo del proyecto, si la financiación disponible era suficiente para completar el proyecto satisfactoriamente y si el desarrollo de capacidades era adecuado para las actividades previstas y sería suficiente para garantizar la sostenibilidad del impacto una vez finalizado el proyecto. En cuanto a los procesos, mis principales preguntas serían el reconocimiento y el carácter integrador de las asociaciones, si las funciones y responsabilidades estaban bien definidas y si había riesgos o consecuencias negativas que yo debiera conocer. Por último, en cuanto a los resultados, me interesaría saber si los métodos y herramientas de comunicación eran adecuados, si el trabajo en red previsto incluía la participación de las partes interesadas apropiadas y necesarias, si el proyecto era suficientemente consciente de si el entorno propicio favorecía el éxito del proyecto, en su caso, si se establecían vínculos con los responsables políticos y si la preparación para la ampliación formaba parte de la participación de las partes interesadas.

La sección 4 de las Directrices sobre los pasos clave para evaluar la calidad de la ciencia en la investigación para el desarrollo propone métodos que también son pertinentes para los proyectos de desarrollo. Entre ellos se incluyen la revisión de documentos, las entrevistas, los debates en grupos de discusión, el análisis de redes sociales, la teoría del cambio y el uso de rúbricas para reducir la subjetividad al utilizar indicadores cualitativos. El uso de rúbricas es una piedra angular del Instrumento de Evaluación RQ+ del IDRC.

¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Como experto en evaluación internacional, tengo la suerte de evaluar una amplia gama de proyectos y programas que abarcan la investigación (aplicada y no experimental), el desarrollo y las intervenciones humanitarias. En la última década, tuve la oportunidad de emplear diversos marcos y directrices para evaluar proyectos y propuestas de programas del GCIAI, especialmente con el Centro Mundial de Agrosilvicultura (ICRAF) y el Instituto Internacional de Agricultura Tropical (IITA) en África Central (Camerún y Congo). Por ejemplo, al dirigir la evaluación final del Programa de Cultivos Arbóreos Sostenibles, Fase 2 (PAP2CP) gestionado por el IITA-Camerún, junto con el equipo, revisamos el marco y los criterios del CAD de la OCDE para incluir un criterio científico que abordara las dimensiones de la investigación, como los criterios de investigación de inclusión y exclusión.

A la hora de diseñar protocolos de investigación de alta calidad para una evaluación científica, establecer criterios de inclusión y exclusión para los participantes en el estudio es una práctica estándar y obligatoria. Por ejemplo, deben tenerse en cuenta los criterios de inclusión definidos como las características clave de la población objetivo que los evaluadores utilizarán para responder a su pregunta de investigación (por ejemplo, características demográficas y geográficas de la ubicación objetivo en las dos regiones de Camerún). Se trata de criterios importantes para comprender el área de investigación y conocer mejor a la población de estudio. A la inversa, los criterios de exclusión abarcan las características de los posibles participantes en el estudio que cumplen los criterios de inclusión pero presentan características adicionales que podrían interferir en el éxito de la evaluación o aumentar su riesgo de obtener un resultado desfavorable (p. ej., características de las personas elegibles que las hacen muy propensas a perderse durante el seguimiento, faltar a las citas programadas para recopilar datos, proporcionar datos inexactos, presentar comorbilidades que podrían sesgar los resultados del estudio o aumentar su riesgo de sufrir acontecimientos adversos). Estos criterios también pueden considerarse en cierta medida parte de los temas transversales, pero siguen sin estar cubiertos por los criterios y el marco de evaluación del CAD de la OCDE, por lo que pueden convertirse en un reto para evaluar la calidad de una evaluación de la ciencia/investigación y el rendimiento.

¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación?

Un examen exhaustivo de las cuatro dimensiones muestra que son claras y útiles, especialmente cuando se trata de un enfoque de métodos mixtos que incluye métodos cuantitativos y cualitativos e indicadores adecuados. Dado que, sin embargo, el contexto y la justificación son siempre los mejores impulsores de la objetividad para el diseño de la investigación, los procesos de investigación, incluida la recopilación de datos/pruebas fiables y válidos para apoyar el proceso de toma de decisiones, es muy importante que los evaluadores no sólo definan los criterios de inclusión y exclusión adecuados al diseñar una investigación científica, sino que también evalúen cómo esas decisiones afectarán a la validez externa de los resultados esperados. Por tanto, a partir de esos criterios de inclusión y exclusión, podemos emitir un juicio sobre su impacto en la validez externa de los resultados esperados. Emitir esos juicios requiere un conocimiento profundo del ámbito de la investigación (contexto y justificación), así como de la dirección en que cada criterio podría afectar a la validez externa del estudio (además de las cuatro dimensiones).

Serge Eric

Estimado Seda, qué gran contribución. Gracias. Demostrar la calidad de la ciencia es importante, pero insuficiente. Esto, y las explicaciones en torno a ello, se queda corto para una organización que afirma que su programa de investigación es para el desarrollo. Las orientaciones parecen insinuantes a este respecto. Como usted dice, y como he aludido en mi respuesta, a uno le gustaría que tuvieran una lectura más sólida y convincente.

Me gustaría complementar las intervenciones que figuran a continuación, así como la pregunta de las FAQ sobre la calidad de la investigación frente al programa de desarrollo. Como sugiere su título, las directrices se centran principalmente en el aspecto científico. Cabe destacar aquí la dimensión "resultados", que se refiere a la calidad de los resultados de la investigación y a las contribuciones al avance de la ciencia. Creo que los autores podrían identificar más claramente cómo se pueden considerar también los resultados concretos de desarrollo relacionados con un área de investigación concreta. Esto sigue sin quedarme claro en las otras tres dimensiones. ¿Podría indicarnos las partes pertinentes de las directrices al respecto?

¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Los días 27 y 28 de febrero de 2023 asistí en Roma (Italia) a un taller sobre el nuevo conjunto de directrices de evaluación del CGIAR. Estas se basan en el Marco de Referencia de Calidad de la Investigación para el Desarrollo (QoR4D) del Consejo Independiente de Ciencia para el Desarrollo (ISDC) del CGIAR, y proporcionan el marco, los criterios, las dimensiones y los métodos para evaluar la Calidad de la Investigación para el Desarrollo, tanto dentro del CGIAR como en otras organizaciones afines. El evento híbrido en línea y presencial se diseñó para ayudar a los profesionales de todo el sistema del CGIAR y de fuera de él a comprender y aplicar las nuevas directrices en sus propios contextos de evaluación.

El taller me pareció informativo, útil e impactante. Para mí, las principales enseñanzas extraídas del taller fueron las siguientes

• Mejora de los procesos de evaluación para valorar el éxito y la eficacia de la calidad de la ciencia a la hora de aportar pruebas para la formulación de políticas;
• El valor del intercambio de conocimientos y experiencia entre facilitadores y participantes en un proyecto de evaluación concreto;
• Compartir y documentar las mejores prácticas, aprovechando los conocimientos y la experiencia de la IAES;
• El desarrollo de "normas" o principios de trabajo para garantizar un compromiso eficaz con los donantes y los agentes pertinentes.
• Apoyar y defender las oportunidades de financiación pública y apoyar al gobierno identificando dónde podemos crear capacidad para un apoyo eficaz a la innovación y cómo podemos supervisar y evaluar eficazmente los proyectos financiados con fondos públicos.

Queda un reto por resolver: cómo aplicar la iniciativa del Marco de Referencia de Calidad de la Investigación para el Desarrollo para evaluar la contribución a los ODS.

Utilizaré las conclusiones del taller en el capítulo de mi próximo libro, titulado Nature-based solution to preserve the wetlands along the critical zone of River Nyong, así como en mi conferencia del máster.

Dr. Norbert Tchouaffe
Instituto Panafricano para el Desarrollo
Camerún

Estimados colegas, 

Agradecemos el reto de abordar el tema, basándonos en las Directrices (de sólo 25 páginas) y teniendo en cuenta la sección de preguntas frecuentes. 

No duden en limitar sus comentarios a una de las preguntas anteriores. 

Para inspirar aún más las reflexiones, les ofrecemos algunos materiales de referencia adicionales del taller (en inglés) : 

• Reflections on workshop: Adaptive co-design of research for development (R4D) evaluations – the need for engagement, learning and ongoing reflection
• Q+A: Former ICAR-NAARM head Dr D. Rama Rao on the QoR4D Frame of Reference workshop
• Q+A: International project management expert Hasna Ziraoui on the QoR4D Frame of Reference workshop
• Q+A: John Gargani on evaluation of research and innovation for development
• Preguntas y respuestas: Emma Rotondo y Rodrigo Ybarnegaray, especialistas de evaluación internacional, acerca del taller sobre el Marco de referencia de la QoR4D (también en anglais) 

1. ¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

He participado en la evaluación de propuestas de programas y proyectos del CGIAR —y de su ejecución— en el último decenio. Es por ello que he utilizado una amplia variedad de marcos y directrices. Para las evaluaciones de 2015 de la primera fase de los programas de investigación del CGIAR, utilizamos una versión modificada del marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), que incluía los criterios de relevancia/coherencia, eficacia, impacto y sostenibilidad. En ausencia de un criterio de calidad de la ciencia en dicho marco, evaluamos ésta sin elementos o dimensiones establecidos. Consideramos las asociaciones como transversales y no vinculamos directamente la evaluación de la gobernanza y la gestión con la evaluación de la calidad de la ciencia. Para las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR, empleamos el marco de referencia de la calidad de la investigación para el desarrollo, con sus cuatro elementos fundamentales (relevancia, eficacia, legitimidad y credibilidad) y tres dimensiones (recursos, procesos y productos). La calidad de la ciencia estaba firmemente basada en los elementos de credibilidad y legitimidad, y las tres dimensiones tenían indicadores bien definidos. Durante el proceso, pusimos de relieve la ausencia de la dimensión del diseño de la investigación y su importancia para evaluar la coherencia y la integridad y adecuación metodológicas, así como la ventaja comparativa del CGIAR para abordar desafíos mundiales y regionales.

La versión beta de las Directrices recoge todas estas valiosas enseñanzas, adquiridas en este decenio. Es por ello que considero que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño. Además, durante su elaboración, se han consultado también otros marcos y directrices de evaluación, a fin de comprender mejor la evaluación de las actividades de investigación y desarrollo. Gracias a esto, las Directrices son flexibles y se pueden adaptar a diferentes usuarios y necesidades. Por tanto, creo que son útiles para organizaciones de investigación para el desarrollo, institutos de investigación y organismos de desarrollo.

Recientemente, las Directrices se han utilizado con carácter retroactivo para examinar las evaluaciones de 2020 de la segunda fase de los programas de investigación del CGIAR con un mayor conocimiento de los indicadores cualitativos en cuatro dimensiones. La aplicación de las Directrices clarificó las conclusiones de estas evaluaciones y mejoró la capacidad de sintetizar cuestiones importantes en toda la cartera de programas de investigación del CGIAR.

2. ¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

Las cuatro dimensiones son claras y útiles, especialmente si están acompañadas de criterios establecidos con indicadores bien definidos. Son más adecuadas para un enfoque de evaluación de métodos combinados que utilice indicadores cuantitativos y cualitativos. Además, ofrecen la flexibilidad necesaria para utilizar las Directrices en diferentes etapas de la investigación: desde la fase de presentación de propuestas —en la que se evaluarían el diseño, los recursos y los procesos previstos— hasta las fases de examen intermedio y finalización del proyecto, en las que los productos adquirirían mayor importancia.

3. ¿Creen que un criterio de evaluación de la calidad de la ciencia captaría la esencia de la investigación y el desarrollo (sección 3.1)?

Por mi propia experiencia, considero que el criterio de calidad de la ciencia —con sus elementos intrínsecos de credibilidad (resultados de investigación y fuentes de conocimiento sólidos) y legitimidad (procesos de investigación justos y éticos y reconocimiento de los asociados)— capta la esencia de la investigación y la investigación para el desarrollo. Su capacidad para comprender los fundamentos del desarrollo dependerá de la importancia de la ciencia para el contexto del desarrollo.

Estimada Svetlana,

Gracias por la oportunidad que nos ofreces para comentar las Directrices. Me ha gustado leerlas, pero sólo tengo tiempo para responder a las dos primeras preguntas.

Antes de compartir mis impresiones, me gustaría hacer una advertencia: no tengo experiencia en el ámbito de la investigación. Sin embargo, trabajé con científicos agrícolas durante un tiempo. Y observé que la preocupación de entonces de evaluar los efectos en los destinatarios finales —medidos por la fluctuación en los valores relativos de los activos familiares— a menudo ocultó la falta relativa de información e interés sobre la capacidad y aptitudes de los sistemas locales de I+D/extensión antes, durante y después de los periodos de inversión. Con frecuencia, su papel fundamental en el proceso se redujo a su consideración como hipótesis o riesgos para productos o servicios científicos “buenos”.

Esto dificultó vincular cualquier efecto sostenible en los beneficiarios con información sobre la capacidad institucional en el momento de elaborar los productos de investigación. También podría haber explicado por qué era necesario un cierto grado de descreimiento para confiar en los estudios sobre tasas de rentabilidad de las inversiones (irremediablemente infladas). Todo lo anterior mermó las expectativas de que los esfuerzos para evaluar los efectos de la investigación fueran de gran utilidad para los responsables de la toma de decisiones.

A continuación, incluyo mis respuestas a las dos primeras preguntas. Espero que mis reflexiones les resulten interesantes e incluso útiles.

1. ¿Cree que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

Para responder a esta pregunta es preciso conocer los desafíos a los que hacen referencia las Directrices. En este sentido, creo que el título de la sección 1.1 (“Un contexto cambiante para las evaluaciones del CGIAR”) es un poco engañoso. ¿Por qué?

La sección no describe cómo ha cambiado el contexto. Y, por tanto, no explica por qué motivo y de qué manera constituye una dificultad para evaluar la calidad de la ciencia. Más bien, describe el objetivo del CGIAR de lograr un cambio transformador en tres esferas de acción (transformación de los sistemas —¿una tautología? —, sistemas agroalimentarios resilientes e innovación genética) y cinco Objetivos de Desarrollo Sostenible (ODS) que no especifica. En la sección 1.2 se indica que, si bien los donantes del CGIAR se centran en resultados de desarrollo, la evaluación de las intervenciones de este grupo se debe basar en el marco de calidad de la investigación para el desarrollo —orientado a la investigación para obtener resultados de desarrollo— y el marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), orientado al desarrollo. 

Las dos razones esgrimidas para explicar las carencias de los seis criterios del CAD de la OCDE para evaluar la actividad principal del CGIAR —la impredecibilidad de la investigación y los riesgos que entraña, así como el tiempo requerido para obtener resultados— no parecen estar particularmente relacionadas con la labor de este grupo, ni con la ayuda al desarrollo financiada con fondos públicos. En efecto, el posicionamiento del sistema del CGIAR puede hacer que el proceso sea más prolongado. Sin embargo, tal y como todos estamos descubriendo, los entornos operativos son tan impredecibles como los resultados. El contexto importa. Los resultados son impredecibles. La investigación científica, lo que ofrece y los efectos que tiene en el desarrollo probablemente no sean tan diferentes como sugieren las Directrices. En lo que respecta a la evaluación de la investigación científica, la peculiaridad radica en el personal del CGIAR y la necesidad de garantizar que su labor tenga un elevado nivel científico. Es decir, en su legitimidad y credibilidad. Sin embargo, no me queda claro cómo se ajustan estos dos elementos —extraídos del marco de referencia de la calidad de la investigación para el desarrollo— a las características específicas de la actividad principal del CGIAR y de qué manera logran subsanar las carencias de los seis criterios de evaluación del CAD de la OCDE. ¿O quizás se me esté escapando algo?

Al comienzo de la sección 2.2 se definen las evaluaciones de procesos y desempeño. No logro apreciar las diferencias entre ellas. De hecho, me parecen muy similares. Tanto que me pregunto por qué no bastaría con una de ellas. Las evaluaciones de procesos se describen como autoevaluaciones finales de todo el CGIAR y los resultados están dentro del alcance de las evaluaciones de desempeño. Por su parte, éstas se describen como evaluaciones más formativas y reiteran la referencia a líneas de investigación similares. Evalúan el desempeño de la organización y los modelos operativos, al igual que las evaluaciones de procesos, que evalúan el funcionamiento organizativo, los instrumentos, mecanismos y prácticas de gestión, así como la experiencia con marcos, políticas, criterios y procedimientos del CGIAR. Dado que “la investigación es impredecible y entraña riesgos”, ¿por qué no se menciona ninguna hipótesis? Éstas definen —de forma indirecta— aquello que no se conoce. Para los directores de investigación y las propias evaluaciones (y su oportunidad), las hipótesis deberían ser tan importantes o más que los propios resultados. Véase a continuación.

La explicación —incluida en el Cuadro 2— de las diferencias entre la consideración de los criterios de relevancia y eficacia en el marco del CAD de la OCDE y el marco de calidad de la investigación para el desarrollo del CGIAR es limitada. Mientras que la diferencia relacionada con la relevancia explica de forma clara por qué es necesario el CGIAR, la relativa a la eficacia es muy poco precisa (para prever y evaluar). ¿Qué impide que las razones por las que el CGIAR proporciona conocimientos, productos y servicios —para abordar un problema y contribuir a soluciones innovadoras— no puedan enmarcarse como objetivos y/o resultados? Y en especial cuando las Directrices establecen que las evaluaciones de desempeño evalúan objetivos y/o resultados. 

2. ¿Considera que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

Esta sección proporciona una explicación clara y útil de las cuatro dimensiones interrelacionadas (diseño de la investigación, recursos, procesos y productos), que se utilizan para realizar una evaluación equilibrada de la calidad general de la ciencia. 

Algunas observaciones:

“Pensar en la ventaja comparativa durante el proceso de diseño del proyecto puede dar lugar a asociaciones beneficiosas para todas las partes, aumentar la efectividad del CGIAR a través de la especialización y reorientar los recursos escasos para destinarlos a los fortalezas relativas del sistema”. https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

1) Teniendo esto en cuenta, y tal y como se mencionó anteriormente en la sección 2.3, convendría explicar que el diseño de la investigación incluye demostrar —que no afirmar— que el CGIAR tiene una ventaja comparativa. Para ello se debería seguir el proceso de cuatro pasos descrito en la nota técnica a la que hace referencia el enlace anterior. Este proceso genera evidencias que permiten determinar si el CGIAR tiene o no una ventaja comparativa y dar luz verde o descartar una inversión. 

2)  El cuadro 3 es muy útil para relacionar las cuatro dimensiones de la calidad de la ciencia con los seis criterios de evaluación del CAD de la OCDE. Me gusta especialmente la nota sobre la consideración del principio de género, diversidad e inclusión. Sin embargo, no me queda claro por qué el criterio de coherencia se limita a la coherencia interna y no va más allá de las dos dimensiones indicadas (diseño de la investigación y recursos). La coherencia externa es tan importante o más. En especial en lo que respecta a cómo y en qué medida se complementan los productos, se armonizan con otros y se garantiza que les añaden valor en fases posteriores del proceso. 

3)  Aunque la credibilidad y legitimidad científicas son fundamentales, gestionar y coordinar los procesos para que los productos sean relevantes para los clientes es igual de importante. 

4)  Me gusta la descripción de los procesos, en especial la creación y el aprovechamiento de asociaciones.

5)  El alcance de la evaluación de la calidad de la ciencia también debería hacer referencia a las hipótesis. En concreto, a aquéllas que se deben cumplir para que los productos sean aceptados por la organización cliente, ya sea un servicio nacional de extensión u otra entidad. Esto se debería hacer antes de llevar a cabo un estudio de impacto o una evaluación del desempeño. Digo esto porque, tal y como se ha mencionado anteriormente, la incertidumbre e impredecibilidad de la investigación están relacionadas con el proceso que permite obtener los productos, pero también con la gestión de la hipótesis de que el proceso para lograr los efectos perdurará una vez que los productos hayan sido “proporcionados” Esto se debe descubrir antes de que sea demasiado tarde. De este modo se reduce el riesgo de rechazo. Obtener una buena puntuación en el criterio de calidad de la ciencia no garantiza que el producto o servicio sea aceptado y utilizado por el cliente. Cabe recordar que los donantes del CGIAR están interesados en la labor desarrollada, no en la calidad de la ciencia.