Le tournant sceptique en évaluation (et ce qu'il faut en faire)

Image
© European evaluation society

Le tournant sceptique en évaluation (et ce qu'il faut en faire)

5 min.

Impressions sur le discours introductif d'Estelle Raimondo et Peter Dahler-Larsen à l'occasion de la Conférence EES du 10 juin 2022 

Dans leur discours introductif très fourni en données et donnant matière à réflexion lors de la 14e conférence à Copenhague le mois dernier, Peter Dahler-Larsen et Estelle Raimondo ont demandé aux participants de reconnaître que l'évaluation est parfois plus un problème qu'une solution. Dressant le bilan de l'essor de l'évaluation en tant que pratique et discipline, ils ont préconisé un meilleur équilibre entre les bénéfices et les coûts des systèmes d'évaluation.  

Que se passe-t-il quand les évaluateurs posent leur regard sur eux-mêmes? Cela peut parfois virer au nombrilisme et à l'autocongratulation. Ce n'est pourtant pas ce que Peter Dahler-Larser[1] et Estelle Raimondo[2] ont réservé aux participants de la 14e conférence annuelle de la Société européenne de l'évaluation (EES) à Copenhague le mois dernier, apportant au contraire une saine dose d'autocritique fondée et basée sur des faits. 

Remettant en question «l'idéologie selon laquelle il n'y a pas de limite à la redevabilité, à l'apprentissage et à l'éclairage, seulement si nous évaluons davantage», ils ont préconisé un nouveau «tournant sceptique», avant d'expliquer longuement que cela ne signifie pas qu'ils considèrent l'évaluation de manière négative. Le «tournant sceptique» signifie simplement que les systèmes d'évaluation doivent être évalués avec la même rigueur et le même sens critique que ceux que les évaluateurs mettent en œuvre lorsqu'ils évaluent leur «evaluand», pour ce qui est de leur utilité, de leur impact mais aussi de leur rapport coût-efficacité. 

Leur argument fondamental – qui me semble très solide – est que l'évaluation a été victime de son propre succès. Ils estiment que l'institutionnalisation croissante de l'évaluation au sein des organismes publics a conduit à son application sans discernement à des portefeuilles entiers de personnes ou de programmes, qu'il y ait ou non la moindre probabilité que l'évaluation puisse être utile. Transformer l'évaluation en un processus obligatoire ne permet pas d'appliquer l'esprit critique là où il est le plus nécessaire. Pour reprendre les termes des intervenants, «la distribution des évaluations finit par être déconnectée de la distribution des problèmes,» conduisant au «point mort de l'évaluation», c'est-à-dire à une prolifération de cas où les coûts de l'évaluation sont supérieurs à ses bénéfices. 

La racine des problèmes tient selon eux à la «bureaucratisation de l'évaluation» – l'expansion de normes, routines, codification excessive, caractéristiques obligatoires des évaluations, les bureaux de l'évaluation étant en proie aux mêmes problèmes que les institutions auxquelles ils sont tenus de demander des comptes. Les fonctionnaires publics qui travaillent dans le cadre de régimes stricts de gestion axée sur les résultats et de suivi et évaluation peuvent les juger contre-productifs, dans la mesure où ils ont tendance à se concentrer sur la mesure, l'aversion pour le risque et la conformité. «Nos propres instruments sont revenus nous hanter.» [3]

Cette analyse s'efforce de tenir compte du «paradoxe de l'utilisation», selon lequel les systèmes d'évaluation se développent plus rapidement que les preuves d'une utilisation fonctionnelle de leurs conseils. Cela signifie parfois que les organismes peuvent réduire le risque pour leur réputation et tirer une légitimité de la seule existence d'un système d'évaluation plutôt que de son utilisation. Les deux intervenants se réfèrent ici à une utilisation de l'évaluation que je qualifierais de «performative»: l'organisation et le fonctionnement de systèmes complexes d'évaluation presque dans le seul but de montrer que l'organisation réalise des évaluations. 

Après une telle déconstruction systématique et implacable de leurs moyens d'existence, les évaluateurs professionnels présents étaient partagés entre un sentiment de gratitude pour cet examen franc de certaines de leurs préoccupations les plus profondes et le désespoir face à l'ampleur du problème exposé patiemment, une diapositive après l'autre, par les intervenants. Ce fut du moins ma réaction. J'ai pu reprendre ma respiration quand les intervenants ont abordé les solutions. Voici quelques-unes des excellentes et nombreuses recommandations qu'ils ont formulées: 

  • adapter l'offre de services d'évaluation au besoin ou à la demande d'évaluation (c'est-à-dire en rejetant ainsi la couverture systématique et l'utilisation de grilles d'évaluation standard);  

  • écouter les autres de manière plus systématique, y compris leurs critiques envers les évaluations; 

  • utiliser un langage plus libre et plus simple dans les rapports; 

  • adopter un certain degré d'informalité et instaurer des relations avec les personnes et les institutions évaluées; 

  • être attentifs aux effets imprévus; 

  • mettre en place des systèmes plus légers à soutenir pour les institutions. 

Leurs conseils sont regroupés dans le Cadre de Copenhague pour des systèmes d'évaluation sains. La vidéo de l'intervention peut être visionnée sur YouTube (début à 5:25 minutes) 

Je vous la recommande vivement! 

  • Dear Olivier, you are right: it's not universal, yet it is commonplace among many donors for evaluators and evaluations to be driven by the pursuit of being solely accountable to those who commission them and afford privilege to their administrative requirements and corporate objectives, not of those in need. What Bob Picciotto refers to as mindless evaluation machines, and quite rightly so. 

     

    Best wishes from a strange land - i live in the uk - and hope this finds you very well

  • To Daniel, Thanks, that's a good one. However, to be precise I would say that some institutions use evaluation as a drunk uses a lamppost -- for support rather than illumination. "Some", because I certainly hope that phenomenon is not universal. :-)

  • Interesting analysis on the indiscriminate application and diminishing returns to the practice of late through its "performative" use.

    Reference to how "....sometimes, agencies can reduce reputational risk and draw legitimacy from having an evaluation system rather than from using it" reminds of the analogy the famous classicist and poet AE Housman made in 1903:

    "...gentlemen who use manuscripts as drunkards use lamp-posts,—not to light them on their way but to dissimulate their instability.”

    or in plain english relating to the subject: People Use Evaluation as a Drunk Uses a Lamppost — For Support Rather Than Illumination