Gracias por la oportunidad que nos ofreces para comentar las Directrices. Me ha gustado leerlas, pero sólo tengo tiempo para responder a las dos primeras preguntas.
Antes de compartir mis impresiones, me gustaría hacer una advertencia: no tengo experiencia en el ámbito de la investigación. Sin embargo, trabajé con científicos agrícolas durante un tiempo. Y observé que la preocupación de entonces de evaluar los efectos en los destinatarios finales —medidos por la fluctuación en los valores relativos de los activos familiares— a menudo ocultó la falta relativa de información e interés sobre la capacidad y aptitudes de los sistemas locales de I+D/extensión antes, durante y después de los periodos de inversión. Con frecuencia, su papel fundamental en el proceso se redujo a su consideración como hipótesis o riesgos para productos o servicios científicos “buenos”.
Esto dificultó vincular cualquier efecto sostenible en los beneficiarios con información sobre la capacidad institucional en el momento de elaborar los productos de investigación. También podría haber explicado por qué era necesario un cierto grado de descreimiento para confiar en los estudios sobre tasas de rentabilidad de las inversiones (irremediablemente infladas). Todo lo anterior mermó las expectativas de que los esfuerzos para evaluar los efectos de la investigación fueran de gran utilidad para los responsables de la toma de decisiones.
A continuación, incluyo mis respuestas a las dos primeras preguntas. Espero que mis reflexiones les resulten interesantes e incluso útiles.
1. ¿Cree que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?
Para responder a esta pregunta es preciso conocer los desafíos a los que hacen referencia las Directrices. En este sentido, creo que el título de la sección 1.1 (“Un contexto cambiante para las evaluaciones del CGIAR”) es un poco engañoso. ¿Por qué?
La sección no describe cómo ha cambiado el contexto. Y, por tanto, no explica por qué motivo y de qué manera constituye una dificultad para evaluar la calidad de la ciencia. Más bien, describe el objetivo del CGIAR de lograr un cambio transformador en tres esferas de acción (transformación de los sistemas —¿una tautología? —, sistemas agroalimentarios resilientes e innovación genética) y cinco Objetivos de Desarrollo Sostenible (ODS) que no especifica. En la sección 1.2 se indica que, si bien los donantes del CGIAR se centran en resultados de desarrollo, la evaluación de las intervenciones de este grupo se debe basar en el marco de calidad de la investigación para el desarrollo —orientado a la investigación para obtener resultados de desarrollo— y el marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), orientado al desarrollo.
Las dos razones esgrimidas para explicar las carencias de los seis criterios del CAD de la OCDE para evaluar la actividad principal del CGIAR —la impredecibilidad de la investigación y los riesgos que entraña, así como el tiempo requerido para obtener resultados— no parecen estar particularmente relacionadas con la labor de este grupo, ni con la ayuda al desarrollo financiada con fondos públicos. En efecto, el posicionamiento del sistema del CGIAR puede hacer que el proceso sea más prolongado. Sin embargo, tal y como todos estamos descubriendo, los entornos operativos son tan impredecibles como los resultados. El contexto importa. Los resultados son impredecibles. La investigación científica, lo que ofrece y los efectos que tiene en el desarrollo probablemente no sean tan diferentes como sugieren las Directrices. En lo que respecta a la evaluación de la investigación científica, la peculiaridad radica en el personal del CGIAR y la necesidad de garantizar que su labor tenga un elevado nivel científico. Es decir, en su legitimidad y credibilidad. Sin embargo, no me queda claro cómo se ajustan estos dos elementos —extraídos del marco de referencia de la calidad de la investigación para el desarrollo— a las características específicas de la actividad principal del CGIAR y de qué manera logran subsanar las carencias de los seis criterios de evaluación del CAD de la OCDE. ¿O quizás se me esté escapando algo?
Al comienzo de la sección 2.2 se definen las evaluaciones de procesos y desempeño. No logro apreciar las diferencias entre ellas. De hecho, me parecen muy similares. Tanto que me pregunto por qué no bastaría con una de ellas. Las evaluaciones de procesos se describen como autoevaluaciones finales de todo el CGIAR y los resultados están dentro del alcance de las evaluaciones de desempeño. Por su parte, éstas se describen como evaluaciones más formativas y reiteran la referencia a líneas de investigación similares. Evalúan el desempeño de la organización y los modelos operativos, al igual que las evaluaciones de procesos, que evalúan el funcionamiento organizativo, los instrumentos, mecanismos y prácticas de gestión, así como la experiencia con marcos, políticas, criterios y procedimientos del CGIAR. Dado que “la investigación es impredecible y entraña riesgos”, ¿por qué no se menciona ninguna hipótesis? Éstas definen —de forma indirecta— aquello que no se conoce. Para los directores de investigación y las propias evaluaciones (y su oportunidad), las hipótesis deberían ser tan importantes o más que los propios resultados. Véase a continuación.
La explicación —incluida en el Cuadro 2— de las diferencias entre la consideración de los criterios de relevancia y eficacia en el marco del CAD de la OCDE y el marco de calidad de la investigación para el desarrollo del CGIAR es limitada. Mientras que la diferencia relacionada con la relevancia explica de forma clara por qué es necesario el CGIAR, la relativa a la eficacia es muy poco precisa (para prever y evaluar). ¿Qué impide que las razones por las que el CGIAR proporciona conocimientos, productos y servicios —para abordar un problema y contribuir a soluciones innovadoras— no puedan enmarcarse como objetivos y/o resultados? Y en especial cuando las Directrices establecen que las evaluaciones de desempeño evalúan objetivos y/o resultados.
2. ¿Considera que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)
Esta sección proporciona una explicación clara y útil de las cuatro dimensiones interrelacionadas (diseño de la investigación, recursos, procesos y productos), que se utilizan para realizar una evaluación equilibrada de la calidad general de la ciencia.
Algunas observaciones:
“Pensar en la ventaja comparativa durante el proceso de diseño del proyecto puede dar lugar a asociaciones beneficiosas para todas las partes, aumentar la efectividad del CGIAR a través de la especialización y reorientar los recursos escasos para destinarlos a los fortalezas relativas del sistema”. https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…
1) Teniendo esto en cuenta, y tal y como se mencionó anteriormente en la sección 2.3, convendría explicar que el diseño de la investigación incluye demostrar —que no afirmar— que el CGIAR tiene una ventaja comparativa. Para ello se debería seguir el proceso de cuatro pasos descrito en la nota técnica a la que hace referencia el enlace anterior. Este proceso genera evidencias que permiten determinar si el CGIAR tiene o no una ventaja comparativa y dar luz verde o descartar una inversión.
2) El cuadro 3 es muy útil para relacionar las cuatro dimensiones de la calidad de la ciencia con los seis criterios de evaluación del CAD de la OCDE. Me gusta especialmente la nota sobre la consideración del principio de género, diversidad e inclusión. Sin embargo, no me queda claro por qué el criterio de coherencia se limita a la coherencia interna y no va más allá de las dos dimensiones indicadas (diseño de la investigación y recursos). La coherencia externa es tan importante o más. En especial en lo que respecta a cómo y en qué medida se complementan los productos, se armonizan con otros y se garantiza que les añaden valor en fases posteriores del proceso.
3) Aunque la credibilidad y legitimidad científicas son fundamentales, gestionar y coordinar los procesos para que los productos sean relevantes para los clientes es igual de importante.
4) Me gusta la descripción de los procesos, en especial la creación y el aprovechamiento de asociaciones.
5) El alcance de la evaluación de la calidad de la ciencia también debería hacer referencia a las hipótesis. En concreto, a aquéllas que se deben cumplir para que los productos sean aceptados por la organización cliente, ya sea un servicio nacional de extensión u otra entidad. Esto se debería hacer antes de llevar a cabo un estudio de impacto o una evaluación del desempeño. Digo esto porque, tal y como se ha mencionado anteriormente, la incertidumbre e impredecibilidad de la investigación están relacionadas con el proceso que permite obtener los productos, pero también con la gestión de la hipótesis de que el proceso para lograr los efectos perdurará una vez que los productos hayan sido “proporcionados” Esto se debe descubrir antes de que sea demasiado tarde. De este modo se reduce el riesgo de rechazo. Obtener una buena puntuación en el criterio de calidad de la ciencia no garantiza que el producto o servicio sea aceptado y utilizado por el cliente. Cabe recordar que los donantes del CGIAR están interesados en la labor desarrollada, no en la calidad de la ciencia.
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Estimada Svetlana,
Gracias por la oportunidad que nos ofreces para comentar las Directrices. Me ha gustado leerlas, pero sólo tengo tiempo para responder a las dos primeras preguntas.
Antes de compartir mis impresiones, me gustaría hacer una advertencia: no tengo experiencia en el ámbito de la investigación. Sin embargo, trabajé con científicos agrícolas durante un tiempo. Y observé que la preocupación de entonces de evaluar los efectos en los destinatarios finales —medidos por la fluctuación en los valores relativos de los activos familiares— a menudo ocultó la falta relativa de información e interés sobre la capacidad y aptitudes de los sistemas locales de I+D/extensión antes, durante y después de los periodos de inversión. Con frecuencia, su papel fundamental en el proceso se redujo a su consideración como hipótesis o riesgos para productos o servicios científicos “buenos”.
Esto dificultó vincular cualquier efecto sostenible en los beneficiarios con información sobre la capacidad institucional en el momento de elaborar los productos de investigación. También podría haber explicado por qué era necesario un cierto grado de descreimiento para confiar en los estudios sobre tasas de rentabilidad de las inversiones (irremediablemente infladas). Todo lo anterior mermó las expectativas de que los esfuerzos para evaluar los efectos de la investigación fueran de gran utilidad para los responsables de la toma de decisiones.
A continuación, incluyo mis respuestas a las dos primeras preguntas. Espero que mis reflexiones les resulten interesantes e incluso útiles.
1. ¿Cree que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?
Para responder a esta pregunta es preciso conocer los desafíos a los que hacen referencia las Directrices. En este sentido, creo que el título de la sección 1.1 (“Un contexto cambiante para las evaluaciones del CGIAR”) es un poco engañoso. ¿Por qué?
La sección no describe cómo ha cambiado el contexto. Y, por tanto, no explica por qué motivo y de qué manera constituye una dificultad para evaluar la calidad de la ciencia. Más bien, describe el objetivo del CGIAR de lograr un cambio transformador en tres esferas de acción (transformación de los sistemas —¿una tautología? —, sistemas agroalimentarios resilientes e innovación genética) y cinco Objetivos de Desarrollo Sostenible (ODS) que no especifica. En la sección 1.2 se indica que, si bien los donantes del CGIAR se centran en resultados de desarrollo, la evaluación de las intervenciones de este grupo se debe basar en el marco de calidad de la investigación para el desarrollo —orientado a la investigación para obtener resultados de desarrollo— y el marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), orientado al desarrollo.
Las dos razones esgrimidas para explicar las carencias de los seis criterios del CAD de la OCDE para evaluar la actividad principal del CGIAR —la impredecibilidad de la investigación y los riesgos que entraña, así como el tiempo requerido para obtener resultados— no parecen estar particularmente relacionadas con la labor de este grupo, ni con la ayuda al desarrollo financiada con fondos públicos. En efecto, el posicionamiento del sistema del CGIAR puede hacer que el proceso sea más prolongado. Sin embargo, tal y como todos estamos descubriendo, los entornos operativos son tan impredecibles como los resultados. El contexto importa. Los resultados son impredecibles. La investigación científica, lo que ofrece y los efectos que tiene en el desarrollo probablemente no sean tan diferentes como sugieren las Directrices. En lo que respecta a la evaluación de la investigación científica, la peculiaridad radica en el personal del CGIAR y la necesidad de garantizar que su labor tenga un elevado nivel científico. Es decir, en su legitimidad y credibilidad. Sin embargo, no me queda claro cómo se ajustan estos dos elementos —extraídos del marco de referencia de la calidad de la investigación para el desarrollo— a las características específicas de la actividad principal del CGIAR y de qué manera logran subsanar las carencias de los seis criterios de evaluación del CAD de la OCDE. ¿O quizás se me esté escapando algo?
Al comienzo de la sección 2.2 se definen las evaluaciones de procesos y desempeño. No logro apreciar las diferencias entre ellas. De hecho, me parecen muy similares. Tanto que me pregunto por qué no bastaría con una de ellas. Las evaluaciones de procesos se describen como autoevaluaciones finales de todo el CGIAR y los resultados están dentro del alcance de las evaluaciones de desempeño. Por su parte, éstas se describen como evaluaciones más formativas y reiteran la referencia a líneas de investigación similares. Evalúan el desempeño de la organización y los modelos operativos, al igual que las evaluaciones de procesos, que evalúan el funcionamiento organizativo, los instrumentos, mecanismos y prácticas de gestión, así como la experiencia con marcos, políticas, criterios y procedimientos del CGIAR. Dado que “la investigación es impredecible y entraña riesgos”, ¿por qué no se menciona ninguna hipótesis? Éstas definen —de forma indirecta— aquello que no se conoce. Para los directores de investigación y las propias evaluaciones (y su oportunidad), las hipótesis deberían ser tan importantes o más que los propios resultados. Véase a continuación.
La explicación —incluida en el Cuadro 2— de las diferencias entre la consideración de los criterios de relevancia y eficacia en el marco del CAD de la OCDE y el marco de calidad de la investigación para el desarrollo del CGIAR es limitada. Mientras que la diferencia relacionada con la relevancia explica de forma clara por qué es necesario el CGIAR, la relativa a la eficacia es muy poco precisa (para prever y evaluar). ¿Qué impide que las razones por las que el CGIAR proporciona conocimientos, productos y servicios —para abordar un problema y contribuir a soluciones innovadoras— no puedan enmarcarse como objetivos y/o resultados? Y en especial cuando las Directrices establecen que las evaluaciones de desempeño evalúan objetivos y/o resultados.
2. ¿Considera que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)
Esta sección proporciona una explicación clara y útil de las cuatro dimensiones interrelacionadas (diseño de la investigación, recursos, procesos y productos), que se utilizan para realizar una evaluación equilibrada de la calidad general de la ciencia.
Algunas observaciones:
“Pensar en la ventaja comparativa durante el proceso de diseño del proyecto puede dar lugar a asociaciones beneficiosas para todas las partes, aumentar la efectividad del CGIAR a través de la especialización y reorientar los recursos escasos para destinarlos a los fortalezas relativas del sistema”. https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…
1) Teniendo esto en cuenta, y tal y como se mencionó anteriormente en la sección 2.3, convendría explicar que el diseño de la investigación incluye demostrar —que no afirmar— que el CGIAR tiene una ventaja comparativa. Para ello se debería seguir el proceso de cuatro pasos descrito en la nota técnica a la que hace referencia el enlace anterior. Este proceso genera evidencias que permiten determinar si el CGIAR tiene o no una ventaja comparativa y dar luz verde o descartar una inversión.
2) El cuadro 3 es muy útil para relacionar las cuatro dimensiones de la calidad de la ciencia con los seis criterios de evaluación del CAD de la OCDE. Me gusta especialmente la nota sobre la consideración del principio de género, diversidad e inclusión. Sin embargo, no me queda claro por qué el criterio de coherencia se limita a la coherencia interna y no va más allá de las dos dimensiones indicadas (diseño de la investigación y recursos). La coherencia externa es tan importante o más. En especial en lo que respecta a cómo y en qué medida se complementan los productos, se armonizan con otros y se garantiza que les añaden valor en fases posteriores del proceso.
3) Aunque la credibilidad y legitimidad científicas son fundamentales, gestionar y coordinar los procesos para que los productos sean relevantes para los clientes es igual de importante.
4) Me gusta la descripción de los procesos, en especial la creación y el aprovechamiento de asociaciones.
5) El alcance de la evaluación de la calidad de la ciencia también debería hacer referencia a las hipótesis. En concreto, a aquéllas que se deben cumplir para que los productos sean aceptados por la organización cliente, ya sea un servicio nacional de extensión u otra entidad. Esto se debería hacer antes de llevar a cabo un estudio de impacto o una evaluación del desempeño. Digo esto porque, tal y como se ha mencionado anteriormente, la incertidumbre e impredecibilidad de la investigación están relacionadas con el proceso que permite obtener los productos, pero también con la gestión de la hipótesis de que el proceso para lograr los efectos perdurará una vez que los productos hayan sido “proporcionados” Esto se debe descubrir antes de que sea demasiado tarde. De este modo se reduce el riesgo de rechazo. Obtener una buena puntuación en el criterio de calidad de la ciencia no garantiza que el producto o servicio sea aceptado y utilizado por el cliente. Cabe recordar que los donantes del CGIAR están interesados en la labor desarrollada, no en la calidad de la ciencia.