J'ai participé à deux exercices du Research Excellence Framework (REF) au Royaume-Uni (2014 et 2021) qui évaluent l'excellence de la recherche dans de nombreuses disciplines et institutions différentes. En plus de l'évaluation des résultats de la recherche, il évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant un score mixte où les résultats ont le plus de poids, mais où l'impact prend de plus en plus de poids entre 2014 et 2021.
L'évaluation se fait principalement par le biais de l'examen par les pairs, mais elle comprend également des données bibliométriques (réalisées de manière centralisée et qui vous sont fournies, de sorte que tout est fait de la même manière). La bibliométrie peut être "utilisée" pour améliorer un score plutôt que de le faire baisser.
Il est intéressant de noter que les mêmes chercheurs et institutions obtiennent de bons résultats dans tous les domaines, même si l'on observe des "sommets" dans certains domaines de recherche spécifiques et/ou un impact plus élevé, etc. Ainsi, ceux qui obtiennent des scores élevés de 3 et 4 * (excellence internationale et leader mondial) ont souvent un impact et/ou des environnements de recherche élevés, comme on peut s'y attendre.
Ce qui précède bénéficie d'une période avant le Research Excellence Framework (REF) et de beaucoup d'informations connues sur l'établissement de bases et la normalisation. Par exemple, dans le domaine de l'agriculture/de l'alimentation/de la médecine vétérinaire (mon panel), nous disposions d'informations sur les citations typiques, etc. pour le sous-thème, etc. et nous pouvions donc voir si nous étions au-dessus ou au-dessous de la norme, parallèlement à notre propre évaluation par les pairs.
Vous trouverez plus d'informations ici : https://www.ref.ac.uk pour 2021 et ici https://www.ref.ac.uk/2014/ pour l'exercice 2014 qui a été analysé par de nombreuses personnes et il existe une véritable science sur les REF et sur les meilleures façons de procéder à l'avenir.
Il y a une incitation à la fois financière et pour la réputation, ce qui signifie que "c'est une affaire importante" pour les universités britanniques qui y consacrent beaucoup de temps et d'argent.
Je pense que l'étendue de la couverture et la prise en compte de la rigueur, de l'originalité et de la nouveauté, etc. pour les résultats et la portée/signification et l'impact pour les études de cas d'impact, puis une série de mesures sur la culture de la recherche pour l'environnement de la recherche, offrent une vision large de l'excellence. La question de savoir dans quelle mesure il est possible d'utiliser des algorithmes et de ne pas recourir à l'examen par les pairs pour les sujets plus STEM (science, technologie, ingénierie et mathématiques) reste un enjeu.
Guy Poppy
Director and Professor University of SouthamptonJ'ai participé à deux exercices du Research Excellence Framework (REF) au Royaume-Uni (2014 et 2021) qui évaluent l'excellence de la recherche dans de nombreuses disciplines et institutions différentes. En plus de l'évaluation des résultats de la recherche, il évalue également les études de cas sur l'impact et l'environnement de la recherche, produisant un score mixte où les résultats ont le plus de poids, mais où l'impact prend de plus en plus de poids entre 2014 et 2021.
L'évaluation se fait principalement par le biais de l'examen par les pairs, mais elle comprend également des données bibliométriques (réalisées de manière centralisée et qui vous sont fournies, de sorte que tout est fait de la même manière). La bibliométrie peut être "utilisée" pour améliorer un score plutôt que de le faire baisser.
Il est intéressant de noter que les mêmes chercheurs et institutions obtiennent de bons résultats dans tous les domaines, même si l'on observe des "sommets" dans certains domaines de recherche spécifiques et/ou un impact plus élevé, etc. Ainsi, ceux qui obtiennent des scores élevés de 3 et 4 * (excellence internationale et leader mondial) ont souvent un impact et/ou des environnements de recherche élevés, comme on peut s'y attendre.
Ce qui précède bénéficie d'une période avant le Research Excellence Framework (REF) et de beaucoup d'informations connues sur l'établissement de bases et la normalisation. Par exemple, dans le domaine de l'agriculture/de l'alimentation/de la médecine vétérinaire (mon panel), nous disposions d'informations sur les citations typiques, etc. pour le sous-thème, etc. et nous pouvions donc voir si nous étions au-dessus ou au-dessous de la norme, parallèlement à notre propre évaluation par les pairs.
Vous trouverez plus d'informations ici : https://www.ref.ac.uk pour 2021 et ici https://www.ref.ac.uk/2014/ pour l'exercice 2014 qui a été analysé par de nombreuses personnes et il existe une véritable science sur les REF et sur les meilleures façons de procéder à l'avenir.
Il y a une incitation à la fois financière et pour la réputation, ce qui signifie que "c'est une affaire importante" pour les universités britanniques qui y consacrent beaucoup de temps et d'argent.
Je pense que l'étendue de la couverture et la prise en compte de la rigueur, de l'originalité et de la nouveauté, etc. pour les résultats et la portée/signification et l'impact pour les études de cas d'impact, puis une série de mesures sur la culture de la recherche pour l'environnement de la recherche, offrent une vision large de l'excellence. La question de savoir dans quelle mesure il est possible d'utiliser des algorithmes et de ne pas recourir à l'examen par les pairs pour les sujets plus STEM (science, technologie, ingénierie et mathématiques) reste un enjeu.