Évaluation de la qualité de la recherche pour le développement
Ayant participé à la revue et à l'évaluation de projets et de programmes de recherche agricole pour le développement pendant plusieurs décennies, j'aimerais partager quelques observations.
Valeur de la bibliométrie et de l'altmetrics (mesures alternatives)
Malgré la critique négative dont la bibliométrie fait l'objet dans la littérature actuelle, elle joue un rôle important dans l'évaluation de la qualité des articles publiés sur la recherche agricole pour le développement. Les articles publiés ont déjà franchi un seuil de qualité élevé car ils ont été examinés par des scientifiques expérimentés. La plupart des revues internationales ont des taux de rejet de plus de 90 % - seuls les articles de la plus haute qualité sont publiés. La bibliométrie permet d'évaluer plus précisément la qualité grâce au nombre de citations, au facteur d'impact (FI) des revues, au classement par quartile et aux indices h des auteurs, entre autres données bibliométriques. Les citations et les indices h reflètent la qualité de la recherche publiée au sein de la communauté scientifique. Les indices « altmetrics » démontrent l'intérêt porté à l'article par le groupe de pairs des auteurs. La récente publication de Runzel et al (2021) illustre clairement comment des combinaisons de bibliométrie et des mesures alternatives « altmetrics » peuvent être utilisées avec succès pour évaluer la qualité de près de 5000 articles publiés par les programmes de recherche du CGIAR pendant la période 2017-2020. La Note technique - Analyse bibliométrique pour évaluer la qualité de la science dans le contexte du One CGIAR élargit considérablement le nombre de bibliométries potentielles qui pourraient être utilisées pour évaluer la qualité.
Existe-t-il des alternatives aux citations et à l'IF ? Les géants de l'édition scientifique tels qu'Elsevier utilisent les citations et les IF pour contrôler la qualité de leurs revues. Un FI plus élevé se traduit par une augmentation des ventes d'abonnements aux revues. Comme ces sociétés possèdent la plupart des revues scientifiques, toute alternative devrait être approuvée par elles - ce qui est peu probable car elles semblent se satisfaire du statu quo. Actuellement, il ne semble pas y avoir d'alternatives reconnues. Un article récent de Slafer et Savin (2020) indique que la qualité d'une revue (IF) comme indicateur de l'impact probable d'un article est acceptable lorsque l'évaluation porte sur les articles récemment publiés.
Importance des indicateurs qualitatifs
Les indicateurs qualitatifs de la qualité de la recherche sont tout aussi importants que la bibliométrie et les autres indicateurs quantitatifs et devraient toujours être utilisés parallèlement à la bibliométrie. Les évaluations 2020 des programmes de recherche du CGIAR (https://cas.cgiar.org/publications) ont effectivement utilisé une gamme d'indicateurs qualitatifs pour évaluer les intrants, les processus et les extrants sous l'égide du cadre de qualité de la recherche pour le développement en utilisant les éléments d'évaluation : pertinence, crédibilité, légitimité et efficacité.
Le CRDI a récemment révisé son évaluation de la qualité de la recherche - fermement ancrée dans l'évaluation qualitative - pour évaluer plus efficacement la qualité dans un contexte de développement (CRDI, 2017). Il est intéressant de noter le passage à des indicateurs qui examinent le positionnement pour l'utilisation. Le CRDI a utilisé avec succès l'instrument RQ+ pour évaluer 170 études de recherche (McClean et Sen, 2019).
La subjectivité dans l'évaluation qualitative ne peut pas être éliminée mais elle peut être réduite en employant une équipe d'évaluateurs et en définissant mieux les critères, les indicateurs et les descriptions.
Les scientifiques soulèvent souvent le fait qu'ils sont plus intéressés par l'impact de leur recherche que par son évaluation qualitative. L'évaluation de l'efficacité dans le contexte du positionnement pour l'utilisation permet d'évaluer l'impact potentiel par le biais d'indicateurs tels que l'engagement des parties prenantes, l'intégration du genre, la mise en réseau et les liens avec les décideurs politiques.
Intégrer des indicateurs quantitatifs (y compris bibliométriques) et qualitatifs
Le développement et l'affinement continus des indicateurs quantitatifs et qualitatifs offrent la possibilité de les intégrer pour fournir une évaluation plus complète de la qualité de la recherche pour le financement du développement. Il s'agit d'un domaine passionnant pour les évaluations futures.
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant
RE: How to evaluate science, technology and innovation in a development context?
Évaluation de la qualité de la recherche pour le développement
Ayant participé à la revue et à l'évaluation de projets et de programmes de recherche agricole pour le développement pendant plusieurs décennies, j'aimerais partager quelques observations.
Valeur de la bibliométrie et de l'altmetrics (mesures alternatives)
Malgré la critique négative dont la bibliométrie fait l'objet dans la littérature actuelle, elle joue un rôle important dans l'évaluation de la qualité des articles publiés sur la recherche agricole pour le développement. Les articles publiés ont déjà franchi un seuil de qualité élevé car ils ont été examinés par des scientifiques expérimentés. La plupart des revues internationales ont des taux de rejet de plus de 90 % - seuls les articles de la plus haute qualité sont publiés. La bibliométrie permet d'évaluer plus précisément la qualité grâce au nombre de citations, au facteur d'impact (FI) des revues, au classement par quartile et aux indices h des auteurs, entre autres données bibliométriques. Les citations et les indices h reflètent la qualité de la recherche publiée au sein de la communauté scientifique. Les indices « altmetrics » démontrent l'intérêt porté à l'article par le groupe de pairs des auteurs. La récente publication de Runzel et al (2021) illustre clairement comment des combinaisons de bibliométrie et des mesures alternatives « altmetrics » peuvent être utilisées avec succès pour évaluer la qualité de près de 5000 articles publiés par les programmes de recherche du CGIAR pendant la période 2017-2020. La Note technique - Analyse bibliométrique pour évaluer la qualité de la science dans le contexte du One CGIAR élargit considérablement le nombre de bibliométries potentielles qui pourraient être utilisées pour évaluer la qualité.
Existe-t-il des alternatives aux citations et à l'IF ? Les géants de l'édition scientifique tels qu'Elsevier utilisent les citations et les IF pour contrôler la qualité de leurs revues. Un FI plus élevé se traduit par une augmentation des ventes d'abonnements aux revues. Comme ces sociétés possèdent la plupart des revues scientifiques, toute alternative devrait être approuvée par elles - ce qui est peu probable car elles semblent se satisfaire du statu quo. Actuellement, il ne semble pas y avoir d'alternatives reconnues. Un article récent de Slafer et Savin (2020) indique que la qualité d'une revue (IF) comme indicateur de l'impact probable d'un article est acceptable lorsque l'évaluation porte sur les articles récemment publiés.
Importance des indicateurs qualitatifs
Les indicateurs qualitatifs de la qualité de la recherche sont tout aussi importants que la bibliométrie et les autres indicateurs quantitatifs et devraient toujours être utilisés parallèlement à la bibliométrie. Les évaluations 2020 des programmes de recherche du CGIAR (https://cas.cgiar.org/publications) ont effectivement utilisé une gamme d'indicateurs qualitatifs pour évaluer les intrants, les processus et les extrants sous l'égide du cadre de qualité de la recherche pour le développement en utilisant les éléments d'évaluation : pertinence, crédibilité, légitimité et efficacité.
Le CRDI a récemment révisé son évaluation de la qualité de la recherche - fermement ancrée dans l'évaluation qualitative - pour évaluer plus efficacement la qualité dans un contexte de développement (CRDI, 2017). Il est intéressant de noter le passage à des indicateurs qui examinent le positionnement pour l'utilisation. Le CRDI a utilisé avec succès l'instrument RQ+ pour évaluer 170 études de recherche (McClean et Sen, 2019).
La subjectivité dans l'évaluation qualitative ne peut pas être éliminée mais elle peut être réduite en employant une équipe d'évaluateurs et en définissant mieux les critères, les indicateurs et les descriptions.
Les scientifiques soulèvent souvent le fait qu'ils sont plus intéressés par l'impact de leur recherche que par son évaluation qualitative. L'évaluation de l'efficacité dans le contexte du positionnement pour l'utilisation permet d'évaluer l'impact potentiel par le biais d'indicateurs tels que l'engagement des parties prenantes, l'intégration du genre, la mise en réseau et les liens avec les décideurs politiques.
Intégrer des indicateurs quantitatifs (y compris bibliométriques) et qualitatifs
Le développement et l'affinement continus des indicateurs quantitatifs et qualitatifs offrent la possibilité de les intégrer pour fournir une évaluation plus complète de la qualité de la recherche pour le financement du développement. Il s'agit d'un domaine passionnant pour les évaluations futures.
Références
IDRC (2017) Towards Research Excellence for Development: The Research Quality Plus Assessment Instrument. Ottawa, Canada. <https://www.idrc.ca/sites/default/files/sp/Documents%20EN/idrc_rq_asses…;
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant