Ce blog examine les différents paradigmes que les évaluateurs peuvent avoir et s'interroge sur les liens existant entre ces paradigmes et le parcours des évaluateurs et sur la manière dont ils influencent leur pratique.
Les gens se soucient souvent de faire les choses de la "bonne manière". En tant qu'évaluateur, il vous est peut-être déjà arrivé de rencontrer d'autres évaluateurs et de penser "ils ont exactement la même manière d'évaluer que moi", ou le contraire, "je n'aurais pas abordé ce sujet ou cette collecte de données de cette manière...". Mais s'il n'existait pas une seule bonne manière de faire, mais plusieurs, façonnées par nos visions du monde personnelles?
La notion de paradigmes des évaluateurs
C'est ce que suggéraient Egon Guba et Yvonna Lincoln à la fin des années 1980, avec la notion de "paradigmes des évaluateurs" [1]. Ils utilisaient cette définition non pas dans le sens de paradigmes scientifiques, mais plutôt pour désigner les différents ensembles de croyances que les évaluateurs ont en commun. Pour reprendre les mots de Donna Mertens et Amy Wilson, les paradigmes de l'évaluateur sont de "vastes constructions métaphysiques qui comprennent des ensembles d'hypothèses philosophiques reliées de manière logique [...] Vos hypothèses philosophiques, dont vous n'êtes peut-être pas conscient, détermineront le paradigme [parmi les différents paradigmes existants] dans lequel vous vous trouverez le plus à l'aise pour travailler comme évaluateur”[2]. Ils ont identifié quatre paradigmes: transformationnel, (post-) positiviste, utilitaire et constructiviste.
Le concept des paradigmes apparaît très attirant. Cependant, nous nous sommes ensuite demandé: dans quelle mesure s'appliquent-ils dans les faits? Les évaluateurs se reconnaissent-ils dans ces paradigmes et, le cas échéant, quelle est la popularité de chacun d'eux? Pouvons-nous les relier aux parcours des évaluateurs? Pour répondre à ces questions, nous avons préparé un questionnaire simple, posant 8 questions basées sur des situations professionnelles quotidiennes. Chaque question proposait quatre réponses possibles, qui reflétaient chacune l'un des quatre paradigmes (mais pas de manière explicite). Les répondants pouvaient choisir une ou deux réponses pour chaque question. Un questionnaire distinct recueillait les informations concernant le pays des répondants, leur formation et leur expérience. Après une phase de test, le questionnaire a été diffusé à travers les organisations volontaires pour l'évaluation professionnelle (VOPE) en Europe, au Canada et dans les pays d'Afrique francophone.
Figure 1: La première question du questionnaire et les paradigmes correspondants
Depuis le lancement de l'enquête en juin 2019, plus de 800 évaluateurs de près de 30 pays ont répondu à l'enquête. Voici les résultats que nous avons obtenus.
Les résultats de notre enquête
Premièrement, les répondants se sont reconnus dans les "situations de la vie quotidienne" présentées dans le questionnaire, tout comme dans les quatre paradigmes. Le paradigme "transformationnel" a été le seul à soulever quelques questions, comme cela a été mis en évidence lors du test initial et dans les commentaires sur l'enquête.
Deuxièmement, le paradigme "constructiviste" est le plus partagé au sein de notre échantillon, avec 44% des répondants qui le placent en première position. Il est suivi par le paradigme "utilitaire" (32%), puis par le "positiviste" (21%) et enfin le "transformationnel "(4%). Cet ordre a varié légèrement selon les pays. La majorité des répondants de la Suisse et de l'Allemagne ont placé par exemple l'utilitaire en première position et aucun d'eux n'a sélectionné le paradigme transformationnel en premier. Vous avez peut-être répondu à la version Evalforward du questionnaire, qui a recueilli plus de 500 réponses. Là aussi, le profil constructiviste est arrivé en tête, suivi par le profil utilitaire.
Il était possible de choisir une ou plusieurs réponses à chaque question et les répondants ont souvent eu recours à cette possibilité. Cela nous amène à la troisième observation, à savoir que lorsqu'ils étaient confrontés à des situations spécifiques, les répondants avaient plutôt tendance à combiner différents paradigmes. Alors que 35% des répondants ont choisi une seule réponse à chaque question, 65% d'entre eux ont choisi deux réponses au moins une fois. Seuls 7% ont choisi un seul paradigme en réponse à toutes les questions. Nous avons également remarqué que près de la moitié des répondants a choisi une réponse du profil transformationnel au moins une fois.
Enfin, nous nous sommes demandé s'il existait des facteurs déterminants qui conduisaient les répondants à choisir un paradigme donné. Par exemple, l'expérience influence-t-elle la vision que quelqu'un a de son travail d'évaluateur? En s'appuyant sur notre analyse statistique initiale, des variables telles que le sexe, l'âge, le niveau de responsabilité, le nombre d'évaluations menées, le niveau d'études, le secteur disciplinaire et le secteur d'activité semblent avoir une influence limitée sur le nombre moyen de réponses recueillies pour chaque paradigme.
Toutefois, il apparaît que le champ disciplinaire et le secteur d'activité dans lesquels les répondants ont acquis une expérience significative influencent leur probabilité de choisir le paradigme transformationnel ou positiviste (qui sont les deux paradigmes les moins fréquents). Les économistes, par exemple, avaient tendance à cumuler davantage de réponses relevant du paradigme positiviste, alors que les répondants ayant une expérience importante en évaluation de politiques de l'emploi étaient plus susceptibles de choisir les paradigmes transformationnel et utilitaire.
Il semble plus probable, toutefois, que les préférences de paradigme soient influencées par des aspects plus généraux tels que notre culture ou notre passé. Les différences entre pays suggèrent par exemple des différences dans les cultures nationales d'évaluation qui pourraient jouer un rôle dans ces résultats. Comme souligné par Mertens et Wilson, "les évaluateurs ne semblent pas laisser leur passé derrière eux" (p. 39).
En fin de compte, cette recherche a également remis en question la notion même de paradigme. Les évaluateurs expérimentés qui ont répondu au questionnaire ont souligné leur capacité à être d'accord avec toutes les propositions – selon le contexte. Mais ils ont également mentionné qu'ils sont plus à l'aise avec certaines d'entre elles, ce qui nous amène à réfléchir en termes de "zone de confort". Cette zone pourrait être un peu élargie par l'accumulation d'expériences et la réflexivité, en laissant toutefois quelques paradigmes à l'écart (par exemple "Je suis à l'aise dans un rôle de médiateur ou de scientifique ou de pragmatique mais je ne me sens vraiment pas à l'aise avec le paradigme transformationnel"). Voilà sans doute un sujet pour de futures études!
Limites de la recherche
Il convient de noter que les résultats ne sont pas représentatifs de la population des évaluateurs dans chaque pays. Les réponses ont été fournies sur une base volontaire par les personnes qui avaient accès à l'enquête. Par ailleurs, un échantillon représentatif ne semble pas réalisable en tout état de cause, car l'on sait peu de choses sur la population exacte des évaluateurs dans la plupart des pays (comme par exemple, qui s'identifie comme tel et avec quels critères).
Nous souhaiterions également insister sur les points suivants:
- le questionnaire a été conçu pour être simple et aider les gens à comprendre leurs propres inclinations. Les paradigmes étaient par exemple toujours présentés dans le même ordre, principalement pour éviter le biais consistant à considérer la première information comme la plus importante mais aussi pour faciliter l'auto-appréciation.
- Il n'y a pas eu de tests spécifiques sur la validité de l'échelle de mesure, bien que l'enquête ait été testée avec plusieurs évaluateurs de différents pays et de milieux professionnels distincts avant la diffusion.