¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?
Como experto en evaluación internacional, tengo la suerte de evaluar una amplia gama de proyectos y programas que abarcan la investigación (aplicada y no experimental), el desarrollo y las intervenciones humanitarias. En la última década, tuve la oportunidad de emplear diversos marcos y directrices para evaluar proyectos y propuestas de programas del GCIAI, especialmente con el Centro Mundial de Agrosilvicultura (ICRAF) y el Instituto Internacional de Agricultura Tropical (IITA) en África Central (Camerún y Congo). Por ejemplo, al dirigir la evaluación final del Programa de Cultivos Arbóreos Sostenibles, Fase 2 (PAP2CP) gestionado por el IITA-Camerún, junto con el equipo, revisamos el marco y los criterios del CAD de la OCDE para incluir un criterio científico que abordara las dimensiones de la investigación, como los criterios de investigación de inclusión y exclusión.
A la hora de diseñar protocolos de investigación de alta calidad para una evaluación científica, establecer criterios de inclusión y exclusión para los participantes en el estudio es una práctica estándar y obligatoria. Por ejemplo, deben tenerse en cuenta los criterios de inclusión definidos como las características clave de la población objetivo que los evaluadores utilizarán para responder a su pregunta de investigación (por ejemplo, características demográficas y geográficas de la ubicación objetivo en las dos regiones de Camerún). Se trata de criterios importantes para comprender el área de investigación y conocer mejor a la población de estudio. A la inversa, los criterios de exclusión abarcan las características de los posibles participantes en el estudio que cumplen los criterios de inclusión pero presentan características adicionales que podrían interferir en el éxito de la evaluación o aumentar su riesgo de obtener un resultado desfavorable (p. ej., características de las personas elegibles que las hacen muy propensas a perderse durante el seguimiento, faltar a las citas programadas para recopilar datos, proporcionar datos inexactos, presentar comorbilidades que podrían sesgar los resultados del estudio o aumentar su riesgo de sufrir acontecimientos adversos). Estos criterios también pueden considerarse en cierta medida parte de los temas transversales, pero siguen sin estar cubiertos por los criterios y el marco de evaluación del CAD de la OCDE, por lo que pueden convertirse en un reto para evaluar la calidad de una evaluación de la ciencia/investigación y el rendimiento.
¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación?
Un examen exhaustivo de las cuatro dimensiones muestra que son claras y útiles, especialmente cuando se trata de un enfoque de métodos mixtos que incluye métodos cuantitativos y cualitativos e indicadores adecuados. Dado que, sin embargo, el contexto y la justificación son siempre los mejores impulsores de la objetividad para el diseño de la investigación, los procesos de investigación, incluida la recopilación de datos/pruebas fiables y válidos para apoyar el proceso de toma de decisiones, es muy importante que los evaluadores no sólo definan los criterios de inclusión y exclusión adecuados al diseñar una investigación científica, sino que también evalúen cómo esas decisiones afectarán a la validez externa de los resultados esperados. Por tanto, a partir de esos criterios de inclusión y exclusión, podemos emitir un juicio sobre su impacto en la validez externa de los resultados esperados. Emitir esos juicios requiere un conocimiento profundo del ámbito de la investigación (contexto y justificación), así como de la dirección en que cada criterio podría afectar a la validez externa del estudio (además de las cuatro dimensiones).
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
¿Creen que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?
Como experto en evaluación internacional, tengo la suerte de evaluar una amplia gama de proyectos y programas que abarcan la investigación (aplicada y no experimental), el desarrollo y las intervenciones humanitarias. En la última década, tuve la oportunidad de emplear diversos marcos y directrices para evaluar proyectos y propuestas de programas del GCIAI, especialmente con el Centro Mundial de Agrosilvicultura (ICRAF) y el Instituto Internacional de Agricultura Tropical (IITA) en África Central (Camerún y Congo). Por ejemplo, al dirigir la evaluación final del Programa de Cultivos Arbóreos Sostenibles, Fase 2 (PAP2CP) gestionado por el IITA-Camerún, junto con el equipo, revisamos el marco y los criterios del CAD de la OCDE para incluir un criterio científico que abordara las dimensiones de la investigación, como los criterios de investigación de inclusión y exclusión.
A la hora de diseñar protocolos de investigación de alta calidad para una evaluación científica, establecer criterios de inclusión y exclusión para los participantes en el estudio es una práctica estándar y obligatoria. Por ejemplo, deben tenerse en cuenta los criterios de inclusión definidos como las características clave de la población objetivo que los evaluadores utilizarán para responder a su pregunta de investigación (por ejemplo, características demográficas y geográficas de la ubicación objetivo en las dos regiones de Camerún). Se trata de criterios importantes para comprender el área de investigación y conocer mejor a la población de estudio. A la inversa, los criterios de exclusión abarcan las características de los posibles participantes en el estudio que cumplen los criterios de inclusión pero presentan características adicionales que podrían interferir en el éxito de la evaluación o aumentar su riesgo de obtener un resultado desfavorable (p. ej., características de las personas elegibles que las hacen muy propensas a perderse durante el seguimiento, faltar a las citas programadas para recopilar datos, proporcionar datos inexactos, presentar comorbilidades que podrían sesgar los resultados del estudio o aumentar su riesgo de sufrir acontecimientos adversos). Estos criterios también pueden considerarse en cierta medida parte de los temas transversales, pero siguen sin estar cubiertos por los criterios y el marco de evaluación del CAD de la OCDE, por lo que pueden convertirse en un reto para evaluar la calidad de una evaluación de la ciencia/investigación y el rendimiento.
¿Consideran que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación?
Un examen exhaustivo de las cuatro dimensiones muestra que son claras y útiles, especialmente cuando se trata de un enfoque de métodos mixtos que incluye métodos cuantitativos y cualitativos e indicadores adecuados. Dado que, sin embargo, el contexto y la justificación son siempre los mejores impulsores de la objetividad para el diseño de la investigación, los procesos de investigación, incluida la recopilación de datos/pruebas fiables y válidos para apoyar el proceso de toma de decisiones, es muy importante que los evaluadores no sólo definan los criterios de inclusión y exclusión adecuados al diseñar una investigación científica, sino que también evalúen cómo esas decisiones afectarán a la validez externa de los resultados esperados. Por tanto, a partir de esos criterios de inclusión y exclusión, podemos emitir un juicio sobre su impacto en la validez externa de los resultados esperados. Emitir esos juicios requiere un conocimiento profundo del ámbito de la investigación (contexto y justificación), así como de la dirección en que cada criterio podría afectar a la validez externa del estudio (además de las cuatro dimensiones).
Serge Eric