Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?
En tant qu'expert international en évaluation, j'ai la chance d'évaluer un large éventail de projets et de programmes couvrant la recherche (appliquée et non expérimentale), le développement et les interventions humanitaires. Au cours de la dernière décennie, j'ai eu l'occasion d'utiliser divers cadres et lignes directrices pour évaluer des propositions de projets et de programmes du CGIAR, en particulier avec le Centre mondial d'agroforesterie (ICRAF) et l'Institut international d'agriculture tropicale (IITA) en Afrique centrale (Cameroun et Congo). Par exemple, lorsque nous avons dirigé l'évaluation finale du Programme de cultures arboricoles durables, phase 2 (PAP2CP) géré par l'IITA-Cameroun, nous avons, avec l'équipe, révisé le cadre et les critères du CAD de l'OCDE pour y inclure un critère scientifique afin d'aborder les dimensions de la recherche telles que les critères d'inclusion et d'exclusion de la recherche.
Lors de la conception de protocoles de recherche de haute qualité pour une évaluation scientifique, l'établissement de critères d'inclusion et d'exclusion pour les participants à l'étude est une pratique standard et obligatoire. Par exemple, les critères d'inclusion définissent les principales caractéristiques de la population cible que les évaluateurs utiliseront pour répondre à leur question de recherche (par exemple, les caractéristiques démographiques et géographiques de la zone ciblée dans les deux régions du Cameroun). Il s'agit de critères importants pour comprendre le domaine de recherche et mieux connaître la population étudiée. Inversement, les critères d'exclusion couvrent les caractéristiques des participants potentiels à l'étude qui répondent aux critères d'inclusion mais présentent des caractéristiques supplémentaires qui pourraient interférer avec le succès de l'évaluation ou augmenter le risque d'une issue défavorable (par exemple, les caractéristiques des individus éligibles qui les rendent très susceptibles d'être perdus de vue, de manquer les rendez-vous prévus pour la collecte des données, de fournir des données inexactes, d'avoir des comorbidités qui pourraient fausser les résultats de l'étude, ou d'augmenter le risque d'événements indésirables). Ces critères peuvent également être considérés dans une certaine mesure comme faisant partie des thèmes transversaux, mais ils ne sont toujours pas couverts par les critères et le cadre d'évaluation du CAD de l'OCDE, et peuvent donc devenir un défi pour l'évaluation de la qualité d'une science/recherche et d'une évaluation des performances.
Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)?
Un examen approfondi des quatre dimensions montre qu'elles sont claires et utiles, en particulier lorsqu'il s'agit d'une approche mixte impliquant des méthodes quantitatives et qualitatives et des indicateurs adéquats. Étant donné que le contexte et la justification sont toujours les meilleurs moteurs de l'objectivité pour la conception de la recherche, les processus de recherche, y compris la collecte de données/évidences fiables et valides pour soutenir le processus de prise de décision, il est très important que les évaluateurs définissent non seulement les critères d'inclusion et d'exclusion appropriés lors de la conception d'une recherche scientifique, mais qu'ils évaluent également l'impact de ces décisions sur la validité externe des résultats escomptés. Par conséquent, sur la base de ces critères d'inclusion et d'exclusion, nous pouvons juger de leur impact sur la validité externe des résultats escomptés. La formulation de ces jugements nécessite une connaissance approfondie du domaine de recherche (contexte et justification), ainsi que de la direction dans laquelle chaque critère pourrait affecter la validité externe de l'étude (en plus des quatre dimensions).
RE: How to evaluate science, technology and innovation in a R4D context? New guidelines offer some solutions
Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?
En tant qu'expert international en évaluation, j'ai la chance d'évaluer un large éventail de projets et de programmes couvrant la recherche (appliquée et non expérimentale), le développement et les interventions humanitaires. Au cours de la dernière décennie, j'ai eu l'occasion d'utiliser divers cadres et lignes directrices pour évaluer des propositions de projets et de programmes du CGIAR, en particulier avec le Centre mondial d'agroforesterie (ICRAF) et l'Institut international d'agriculture tropicale (IITA) en Afrique centrale (Cameroun et Congo). Par exemple, lorsque nous avons dirigé l'évaluation finale du Programme de cultures arboricoles durables, phase 2 (PAP2CP) géré par l'IITA-Cameroun, nous avons, avec l'équipe, révisé le cadre et les critères du CAD de l'OCDE pour y inclure un critère scientifique afin d'aborder les dimensions de la recherche telles que les critères d'inclusion et d'exclusion de la recherche.
Lors de la conception de protocoles de recherche de haute qualité pour une évaluation scientifique, l'établissement de critères d'inclusion et d'exclusion pour les participants à l'étude est une pratique standard et obligatoire. Par exemple, les critères d'inclusion définissent les principales caractéristiques de la population cible que les évaluateurs utiliseront pour répondre à leur question de recherche (par exemple, les caractéristiques démographiques et géographiques de la zone ciblée dans les deux régions du Cameroun). Il s'agit de critères importants pour comprendre le domaine de recherche et mieux connaître la population étudiée. Inversement, les critères d'exclusion couvrent les caractéristiques des participants potentiels à l'étude qui répondent aux critères d'inclusion mais présentent des caractéristiques supplémentaires qui pourraient interférer avec le succès de l'évaluation ou augmenter le risque d'une issue défavorable (par exemple, les caractéristiques des individus éligibles qui les rendent très susceptibles d'être perdus de vue, de manquer les rendez-vous prévus pour la collecte des données, de fournir des données inexactes, d'avoir des comorbidités qui pourraient fausser les résultats de l'étude, ou d'augmenter le risque d'événements indésirables). Ces critères peuvent également être considérés dans une certaine mesure comme faisant partie des thèmes transversaux, mais ils ne sont toujours pas couverts par les critères et le cadre d'évaluation du CAD de l'OCDE, et peuvent donc devenir un défi pour l'évaluation de la qualité d'une science/recherche et d'une évaluation des performances.
Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)?
Un examen approfondi des quatre dimensions montre qu'elles sont claires et utiles, en particulier lorsqu'il s'agit d'une approche mixte impliquant des méthodes quantitatives et qualitatives et des indicateurs adéquats. Étant donné que le contexte et la justification sont toujours les meilleurs moteurs de l'objectivité pour la conception de la recherche, les processus de recherche, y compris la collecte de données/évidences fiables et valides pour soutenir le processus de prise de décision, il est très important que les évaluateurs définissent non seulement les critères d'inclusion et d'exclusion appropriés lors de la conception d'une recherche scientifique, mais qu'ils évaluent également l'impact de ces décisions sur la validité externe des résultats escomptés. Par conséquent, sur la base de ces critères d'inclusion et d'exclusion, nous pouvons juger de leur impact sur la validité externe des résultats escomptés. La formulation de ces jugements nécessite une connaissance approfondie du domaine de recherche (contexte et justification), ainsi que de la direction dans laquelle chaque critère pourrait affecter la validité externe de l'étude (en plus des quatre dimensions).
Serge Eric