J'aimerais contribuer à la discussion avec le document suivant. Il a été récemment publié par Outlook on Agriculture dans un numéro spécial sur l'agroécologie :
“Measuring agroecology and its performance: An overview and critical discussion of existing tools and approaches”(en anglais)
Matthias S Geck, Mary Crossland et Christine Lamanna
Les systèmes agricoles et alimentaires (SAF) sont intrinsèquement multifonctionnels, représentant un moteur majeur des crises mondiales, mais aussi un énorme potentiel pour relever simultanément de multiples défis et contribuer de manière systémique à la réalisation des objectifs de développement durable. Les indicateurs de performance actuels des SAF ne tiennent souvent pas compte de cette multifonctionnalité et se concentrent de manière disproportionnée sur la productivité et la rentabilité, excluant ainsi les "externalités", c'est-à-dire les valeurs environnementales et sociales essentielles créées par les SAF. L'agroécologie est de plus en plus reconnue comme une approche prometteuse pour la durabilité des SAF, en raison de sa nature holistique et transformatrice. Cet intérêt et cet engagement croissants pour l'agroécologie de la part de divers acteurs impliquent la nécessité d'approches harmonisées pour déterminer quand une pratique, un projet, un investissement ou une politique peut être considéré comme agroécologique, ainsi que des approches qui garantissent que les multiples valeurs économiques, environnementales et sociales créées par les SAF sont correctement prises en compte, créant ainsi des conditions équitables pour comparer l'agroécologie à d'autres solutions. Dans cette contribution au numéro spécial sur l'agroécologie, nous présentons une vue d'ensemble des outils et des cadres existants pour définir et mesurer l'agroécologie et ses performances, et nous examinons d'un œil critique leurs limites. Nous identifions plusieurs lacunes, notamment un manque d'approches permettant de mesurer l'agroécologie et ses performances à l'échelle du paysage et du système alimentaire, et l'utilisation d'indicateurs standardisés pour mesurer l'intégration de l'agroécologie, en dépit de sa spécificité contextuelle. Ces observations soulignent la nécessité d'évaluations axées sur ces échelles négligées et de recherches sur la meilleure façon de concilier le besoin d'approches comparables à l'échelle mondiale et l'évaluation de l'agroécologie d'une manière pertinente au niveau local. Enfin, nous décrivons les initiatives en cours au nom du Partenariat pour la transformation de l'agroécologie qui visent à combler ces lacunes et offrent une voie prometteuse pour travailler à l'harmonisation des approches. Tous les lecteurs sont invités à contribuer à ces efforts de collaboration, conformément au principe de participation et de cocréation des connaissances de l'agroécologie.
Merci, Seda, pour votre importante question. Comme les lignes directrices l'indiquent à plusieurs reprises, elles ont été élaborées sur la base de l'instrument d'évaluation RQ+ du Centre de recherches pour le développement international (CRDI) (www.idrc.ca/RQplus). Par conséquent, certaines idées et suggestions utiles émanant d'une organisation de développement font partie intégrante des lignes directrices.
La façon la plus simple de répondre à votre question est peut-être d'utiliser le tableau 7 de la page 19 - Thèmes de données qualitatives, indicateurs par dimension de la qualité de la science et critères d'évaluation (Lien aux Lignes Directrices en anglais). Ce tableau a été développé pour évaluer la recherche du CGIAR pour les projets de développement. Pour autant que je puisse en juger, la plupart des thèmes et indicateurs de la qualité d'un projet de recherche scientifique pour le développement sont tout aussi pertinents pour l'évaluation de la qualité d'un projet de développement. Dans le cadre de la conception, en tant qu'évaluateur, je voudrais savoir si la conception est cohérente et claire et si les méthodologies sont adaptées aux interventions prévues. En ce qui concerne les intrants, j'examinerais la base de compétences et la diversité de l'équipe du projet, si le financement disponible était suffisant pour achever le projet de manière satisfaisante et si le renforcement des capacités était approprié pour les activités prévues et serait suffisant pour assurer la durabilité de l'impact après l'achèvement du projet. En ce qui concerne les processus, mes principales questions porteraient sur la reconnaissance et l'intégration des partenariats, sur la bonne définition des rôles et des responsabilités et sur l'existence de risques ou de conséquences négatives dont je devrais être conscient. Enfin, en ce qui concerne les résultats, je voudrais savoir si les méthodes et les outils de communication sont adéquats, si la mise en réseau prévue comprend l'engagement des parties prenantes appropriées et nécessaires, si le projet est suffisamment conscient du fait que l'environnement favorable est propice à la réussite du projet, le cas échéant, si des liens sont établis avec les décideurs politiques et si la préparation à la mise à l'échelle fait partie de l'engagement des parties prenantes.
La section 4 des Directives (Lien aux Lignes Directrices en anglais) sur les étapes clés de l'évaluation de la qualité de la science dans la recherche pour le développement propose des méthodes qui sont également pertinentes pour les projets de développement. Il s'agit notamment de l'examen des documents, des entretiens, des discussions de groupe, de l'analyse des réseaux sociaux, de la théorie du changement et de l'utilisation de rubriques pour réduire la subjectivité lors de l'utilisation d'indicateurs qualitatifs. L'utilisation de rubriques est une pierre angulaire de l'instrument d'évaluation RQ+ du CRDI.
Pensez-vous que les lignes directrices répondent aux défis posés par l'évaluation de la qualité de la science et de la recherche dans les évaluations des processus et de la performance?
Ayant été impliquée dans des évaluations de propositions de projets et programmes du CGIAR mais également dans des évaluations de la performance au cours des dix dernières années, j'ai utilisé une large gamme de cadres et lignes directrices en constante évolution. Pour les évaluations de CRP (Programme de recherche du CGIAR) phase I de 2015, nous avons utilisé une version modifiée du cadre du CAD de l'OCDE comprenant les critères de pertinence/cohérence, efficacité, impact et durabilité. L'absence de critère relatif à la qualité de la science dans le cadre du CAD de l'OCDE a été prise en compte mais cet aspect a été évalué sans éléments ou dimensions définis. Les partenariats ont été évalués comme des éléments transversaux et l'évaluation de la gouvernance et de la gestion n'a pas été directement reliée à l'évaluation de la qualité de la science. Pour les revues d'évaluation de CRP phase II de 2020, nous avons utilisé le Cadre de référence QoR4D (qualité de la recherche pour le développement) avec les éléments de pertinence, crédibilité, légitimité et efficacité et en s'appuyant sur les trois dimensions des intrants, processus et produits. La qualité de la science était fermement ancrée dans les éléments de crédibilité et de légitimité et les trois dimensions disposaient toutes d'indicateurs bien définis. Lors du processus de revue de 2020, l'absence d'une dimension propre à la conception a été soulignée au regard de son importance pour évaluer la cohérence, l'intégrité et l'adaptation méthodologique ainsi que l'avantage comparatif du CGIAR pour répondre aux problèmes aussi bien mondiaux que régionaux.
La version bêta des lignes directrices d'évaluation rassemble tous ces enseignements précieux tirés d'une décennie d'évaluations et, à cet égard, répond aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de la performance. Elle a été développée en consultant également d'autres cadres et lignes directrices d'évaluation pour mieux comprendre l'évaluation tant de la recherche que des activités de développement. Elle se montre ainsi flexible et adaptable et par conséquent utile et utilisable par les organisations de recherche pour le développement, les instituts de recherche et les organismes de développement.
Récemment, les lignes directrices de l'évaluation ont été utilisées rétrospectivement pour revoir les revues d'évaluation des CRP phase II de 2020 avec une meilleure compréhension des indicateurs qualitatifs dans quatre dimensions. L'application des lignes directrices a permis de clarifier les constatations et a amélioré la capacité de synthétiser les questions importantes dans tout le portefeuille CRP.
Les quatre dimensions sont-elles claires et pertinentes pour décomposer l'enquête d'évaluation (Conception de la recherche, intrants, processus et produits)? (voir section 3.1)
Les quatre dimensions sont claires et utiles en particulier lorsqu'elles sont accompagnées de critères déterminés assortis d'indicateurs bien définis. Elles sont exploitables pour une approche d'évaluation basée sur des méthodes mixtes utilisant à la fois des indicateurs quantitatifs et qualitatifs. En outre, elles offrent une flexibilité permettant d'utiliser les lignes directrices à différents niveaux du cycle de la recherche: de la phase de proposition, où la conception, les intrants et les processus programmés seraient évalués, jusqu'aux phases de réalisation à mi-parcours et finale du projet où les produits deviendraient plus consistants.
Un critère d'évaluation relatif à la qualité de la science (QdS) serait-il à même de saisir l'essence de la recherche et du développement (section 3.1)?
Sur la base de ma propre utilisation du critère de la qualité de la science avec ses éléments intrinsèques de crédibilité (résultats de recherche solides et sources de connaissance sûres) et de légitimité (processus de recherche justes et éthiques et reconnaissance des partenaires), il saisit l'essence de la recherche et de la recherche pour le développement. Sa capacité à saisir seul l'essence du développement dépendra de l'importance de la science dans le contexte du développement.
Je suggère que la première étape consiste à définir ce que vous entendez par agroécologie et par approches agroécologiques de la recherche et du développement agricoles. De nombreux outils (par exemple, les indicateurs quantitatifs et qualitatifs) disponibles pour évaluer la RAD prennent en compte les questions environnementales et socio-économiques et sont adaptés à l'agroécologie.
Les examens de cas des résultats à l'impact (OICR) qui faisaient partie des examens des programmes de recherche du CGIAR 2020 devraient être étendus en tant que partie intégrante des évaluations futures des initiatives de One CGIAR. Ils constituent un moyen efficace de combiner les évaluations quantitatives, bibliométriques et qualitatives de la qualité de la recherche agricole pour le développement.
Évaluation de la qualité de la recherche pour le développement
Ayant participé à la revue et à l'évaluation de projets et de programmes de recherche agricole pour le développement pendant plusieurs décennies, j'aimerais partager quelques observations.
Valeur de la bibliométrie et de l'altmetrics (mesures alternatives)
Malgré la critique négative dont la bibliométrie fait l'objet dans la littérature actuelle, elle joue un rôle important dans l'évaluation de la qualité des articles publiés sur la recherche agricole pour le développement. Les articles publiés ont déjà franchi un seuil de qualité élevé car ils ont été examinés par des scientifiques expérimentés. La plupart des revues internationales ont des taux de rejet de plus de 90 % - seuls les articles de la plus haute qualité sont publiés. La bibliométrie permet d'évaluer plus précisément la qualité grâce au nombre de citations, au facteur d'impact (FI) des revues, au classement par quartile et aux indices h des auteurs, entre autres données bibliométriques. Les citations et les indices h reflètent la qualité de la recherche publiée au sein de la communauté scientifique. Les indices « altmetrics » démontrent l'intérêt porté à l'article par le groupe de pairs des auteurs. La récente publication de Runzel et al (2021) illustre clairement comment des combinaisons de bibliométrie et des mesures alternatives « altmetrics » peuvent être utilisées avec succès pour évaluer la qualité de près de 5000 articles publiés par les programmes de recherche du CGIAR pendant la période 2017-2020. La Note technique - Analyse bibliométrique pour évaluer la qualité de la science dans le contexte du One CGIAR élargit considérablement le nombre de bibliométries potentielles qui pourraient être utilisées pour évaluer la qualité.
Existe-t-il des alternatives aux citations et à l'IF ? Les géants de l'édition scientifique tels qu'Elsevier utilisent les citations et les IF pour contrôler la qualité de leurs revues. Un FI plus élevé se traduit par une augmentation des ventes d'abonnements aux revues. Comme ces sociétés possèdent la plupart des revues scientifiques, toute alternative devrait être approuvée par elles - ce qui est peu probable car elles semblent se satisfaire du statu quo. Actuellement, il ne semble pas y avoir d'alternatives reconnues. Un article récent de Slafer et Savin (2020) indique que la qualité d'une revue (IF) comme indicateur de l'impact probable d'un article est acceptable lorsque l'évaluation porte sur les articles récemment publiés.
Importance des indicateurs qualitatifs
Les indicateurs qualitatifs de la qualité de la recherche sont tout aussi importants que la bibliométrie et les autres indicateurs quantitatifs et devraient toujours être utilisés parallèlement à la bibliométrie. Les évaluations 2020 des programmes de recherche du CGIAR (https://cas.cgiar.org/publications) ont effectivement utilisé une gamme d'indicateurs qualitatifs pour évaluer les intrants, les processus et les extrants sous l'égide du cadre de qualité de la recherche pour le développement en utilisant les éléments d'évaluation : pertinence, crédibilité, légitimité et efficacité.
Le CRDI a récemment révisé son évaluation de la qualité de la recherche - fermement ancrée dans l'évaluation qualitative - pour évaluer plus efficacement la qualité dans un contexte de développement (CRDI, 2017). Il est intéressant de noter le passage à des indicateurs qui examinent le positionnement pour l'utilisation. Le CRDI a utilisé avec succès l'instrument RQ+ pour évaluer 170 études de recherche (McClean et Sen, 2019).
La subjectivité dans l'évaluation qualitative ne peut pas être éliminée mais elle peut être réduite en employant une équipe d'évaluateurs et en définissant mieux les critères, les indicateurs et les descriptions.
Les scientifiques soulèvent souvent le fait qu'ils sont plus intéressés par l'impact de leur recherche que par son évaluation qualitative. L'évaluation de l'efficacité dans le contexte du positionnement pour l'utilisation permet d'évaluer l'impact potentiel par le biais d'indicateurs tels que l'engagement des parties prenantes, l'intégration du genre, la mise en réseau et les liens avec les décideurs politiques.
Intégrer des indicateurs quantitatifs (y compris bibliométriques) et qualitatifs
Le développement et l'affinement continus des indicateurs quantitatifs et qualitatifs offrent la possibilité de les intégrer pour fournir une évaluation plus complète de la qualité de la recherche pour le financement du développement. Il s'agit d'un domaine passionnant pour les évaluations futures.
McClean R. K. D. and Sen K. (2019) Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation 28: 123-135.
Runzel M., Sarfatti P. and Negroustoueva S. (2021) Evaluating quality of science in CGIAR research programs: Use of bibliometrics. Outlook on Agriculture 50: 130-140.
Slafer G. and Savin R. (2020) Should the impact factor of the year of publication or the last available one be used when evaluating scientists? Spanish Journal of Agricultural Research 18: 10pgs.
Jill Lenné
Editor in Chief, Outlook on Agriculture and Independent Consultant
Jillian Lenne
Consultant Independent consultantJ'aimerais contribuer à la discussion avec le document suivant. Il a été récemment publié par Outlook on Agriculture dans un numéro spécial sur l'agroécologie :
“Measuring agroecology and its performance: An overview and critical discussion of existing tools and approaches”(en anglais)
Matthias S Geck, Mary Crossland et Christine Lamanna
Outlook on Agriculture 52:349-359
https://journals.sagepub.com/doi/full/10.1177/00307270231196309
Résumé
Les systèmes agricoles et alimentaires (SAF) sont intrinsèquement multifonctionnels, représentant un moteur majeur des crises mondiales, mais aussi un énorme potentiel pour relever simultanément de multiples défis et contribuer de manière systémique à la réalisation des objectifs de développement durable. Les indicateurs de performance actuels des SAF ne tiennent souvent pas compte de cette multifonctionnalité et se concentrent de manière disproportionnée sur la productivité et la rentabilité, excluant ainsi les "externalités", c'est-à-dire les valeurs environnementales et sociales essentielles créées par les SAF. L'agroécologie est de plus en plus reconnue comme une approche prometteuse pour la durabilité des SAF, en raison de sa nature holistique et transformatrice. Cet intérêt et cet engagement croissants pour l'agroécologie de la part de divers acteurs impliquent la nécessité d'approches harmonisées pour déterminer quand une pratique, un projet, un investissement ou une politique peut être considéré comme agroécologique, ainsi que des approches qui garantissent que les multiples valeurs économiques, environnementales et sociales créées par les SAF sont correctement prises en compte, créant ainsi des conditions équitables pour comparer l'agroécologie à d'autres solutions. Dans cette contribution au numéro spécial sur l'agroécologie, nous présentons une vue d'ensemble des outils et des cadres existants pour définir et mesurer l'agroécologie et ses performances, et nous examinons d'un œil critique leurs limites. Nous identifions plusieurs lacunes, notamment un manque d'approches permettant de mesurer l'agroécologie et ses performances à l'échelle du paysage et du système alimentaire, et l'utilisation d'indicateurs standardisés pour mesurer l'intégration de l'agroécologie, en dépit de sa spécificité contextuelle. Ces observations soulignent la nécessité d'évaluations axées sur ces échelles négligées et de recherches sur la meilleure façon de concilier le besoin d'approches comparables à l'échelle mondiale et l'évaluation de l'agroécologie d'une manière pertinente au niveau local. Enfin, nous décrivons les initiatives en cours au nom du Partenariat pour la transformation de l'agroécologie qui visent à combler ces lacunes et offrent une voie prometteuse pour travailler à l'harmonisation des approches. Tous les lecteurs sont invités à contribuer à ces efforts de collaboration, conformément au principe de participation et de cocréation des connaissances de l'agroécologie.