J'ai récemment proposé un sujet de discussion, en demandant aux membres d'Evalforward quelles étaient leur pratique et leur expérience en matière de neutralité, impartialité et indépendance des évaluateurs lors des différents étapes du processus d'évaluation.
En puisant dans le large éventail d'expériences et idées partagées, voici certains des principaux aspects que j'ai retenus, accompagnés de quelques réflexions personnelles.
Qu'entendons-nous exactement par indépendance?
La discussion a soulevé des questions claires quant à sa définition. Que signifie l'indépendance et qu'est-ce que cela entraîne? Un rapport de 2016 du PNUD [1] définit l'indépendance de l'évaluation comme un «concept double qui se réfère d'une part à l'indépendance formelle et, d'autre part, à l'indépendance substantielle. L'indépendance formelle signifie l'absence structurelle de contrôle sur la conduite de l'évaluation alors que l'indépendance substantielle peut être décrite comme l'évaluation scientifique objective d'un sujet, exempte de toute influence indue susceptible de déformer ou biaiser la conduite ou les résultats d'une évaluation».
Les utilisateurs, les responsables et les bénéficiaires de l'évaluation peuvent toutefois interpréter différemment l'indépendance, la neutralité et l'impartialité (les deux derniers étant généralement plus ou moins synonymes). Par conséquent, en tant qu'évaluateurs, nous devrions chercher à parvenir à une vision commune de ces concepts fondamentaux pour notre pratique et profession.
Quels sont les facteurs qui peuvent influencer un évaluateur?
La plupart des participants à la discussion ont paru s'accorder sur l'importance de ces principes en évaluation, mais ont mentionné certains facteurs clés qui pourraient influencer l'indépendance, la neutralité et l'impartialité des évaluateurs. Certains participants se sont également interrogés sur la mesure dans laquelle nous devrions nous attacher à ces concepts de manière concrète.
Tout d'abord, alors que l'évaluation peut exiger des évaluateurs une prise de distance par rapport à leur culture, raisonnement logique et système de valeur, leurs choix personnels peuvent encore être influencés par leur culture et leur parcours, rendant difficile la neutralité totale. Les évaluateurs ont besoin de prendre du temps pour intégrer la logique des différents contextes et parties prenantes afin de conduire une évaluation objective et de réduire les préjugés culturels potentiels.
Les commanditaires et les termes de référence de l'évaluation peuvent également influencer les évaluateurs et, par conséquent, leur indépendance. Certains participants ont mentionné la dépendance financière de l'évaluateur, en mettant l'accent sur les cas où le commanditaire de l'évaluation (personne ou organisation) a également été responsable de la mise en œuvre de l'intervention, et se montre ainsi particulièrement enclin à voir un résultat positif de l'évaluation. Dans de telles conditions, il peut y avoir une tendance à exercer une pression sur le consultant, entraînant une neutralité et impartialité moindres dans la réalisation de la mission. De manière analogue, d'autres participants ont noté que, même lorsque les fonds sont disponibles, les évaluateurs peuvent manquer de neutralité afin de s'assurer de futures missions.
Il existe également des cas où les évaluateurs sont recrutés en fonction de leurs liens personnels ou de leurs relations de travail établies avec les commanditaires. Cela peut affecter la qualité de l'évaluation et des rapports. Les évaluateurs devraient rester raisonnablement neutres, quelles que soient leur expérience ou relations avec les commanditaires, qui devraient également s'efforcer de sélectionner des candidats neutres.
La disponibilité des données, de l'information et de la connaissance est cruciale tout au long de l'évaluation, tout comme la capacité des évaluateurs à les synthétiser et à les mettre en perspective. Toutefois, les données peuvent souvent être difficiles d'accès pour les évaluateurs. Ils peuvent faire face à certaines limites (manque de temps, par exemple) pour contacter les parties prenantes, les bénéficiaires et autres groupes pertinents, ce qui pourrait influencer la neutralité du processus d'évaluation. L'inclusion et la participation des parties prenantes dans le processus d'évaluation, associées à des conditions qui encouragent l'«ouverture d'esprit» des évaluateurs à d'autres opinions, sont essentielles pour atteindre l'objectivité et l'impartialité et pour créer un résultat d'apprentissage valable.
L'analyse peut également perdre en qualité et en profondeur en cas d'excès d'objectivité, dans la mesure où il est possible que l'évaluateur ne dispose pas de toutes les informations sur l'intervention et les conditions sociodémographiques de la région, avec pour conséquence une analyse superficielle.
Aspirer à la neutralité ou adopter une approche ouvertement biaisée?
Certains participants à la discussion se sont opposés à l'assimilation de l'évaluation à la recherche, en affirmant que l'évaluation ne devrait pas viser le même degré d'indépendance et de neutralité que la recherche. Or, ce débat est également très important dans la recherche, en particulier en sciences sociales, où le positionnement du chercheur par rapport à l'objet de l'étude reste un constant sujet de débat. Même la recherche scientifique ne peut être complètement indépendante. En outre, les expériences en laboratoire comportent une certaine marge d'erreur.
D'autres participants ont adopté un point de vue opposé: au lieu de prétendre pouvoir obtenir une impartialité véritable, il est plus judicieux, en tant qu'évaluateurs, d'être conscients (autant que possible) et ouverts à ce que sont nos choix et d'être honnêtes sur les dynamiques en jeu et les choix effectués. L'un des participants a suggéré que notre approche soit ouvertement biaisée lorsque nous nous efforçons de donner plus de voix à ceux qui sont généralement moins représentés.
Étant très difficile de faire participer toutes les parties prenantes, il est également très difficile d'obtenir un résultat non biaisé. Un participant a partagé un article assez ancien, mais toujours pertinent, de Weiss [2], qui analyse l'élaboration, la mise en œuvre et l'évaluation de programme. Cet article constate que les programmes sont décidés dans le cadre d'un environnement politique donné. En conséquence, l'évaluation étant supposée orienter la prise de décision, elle fait également l'objet de pression de la part des participants politiques à ce programme. En d'autres termes, l'évaluation ne s'affranchit jamais du contexte politique dans lequel elle s'inscrit et les évaluateurs doivent en être conscients. Ils devraient, par conséquent, s'efforcer d'exercer leur indépendance, impartialité et neutralité à un niveau raisonnable afin d'apporter la valeur ajoutée qu'ils doivent réaliser à travers l'évaluation d'un programme.
En conclusion: viser le plus haut niveau d'objectivité possible
Tant que les termes de référence sont clairs, que des données fiables sont disponibles et que l'indépendance des évaluateurs est assurée à travers un financement suffisant et une indépendance administrative, l'évaluateur doit travailler sur lui-même pour ce qui est de ses convictions, culture et préjugés. Les approches méthodologiques pourraient aider à renverser tout préjugé indu.
En tant qu'évaluateurs, nous devrions être conscients de nos propres biais et préjugés et essayer de gérer ces limites, en aspirant à la neutralité, l'indépendance et l'impartialité, même si ces idéaux peuvent ne pas être entièrement réalisables dans les faits.
Cet article n'étant pas un résumé exhaustif de la discussion, il est possible de retrouver toutes les contributions dans la section discussion du site et de partager des idées ou commentaires supplémentaires en utilisant la boîte de dialogue ci-après, ou par email à l'adresse info@evalforward.org.
Merci aux participants: Abado Bienvenue EKPO, Abubakar Muhammad Moki, Bamlaku Alamirew Alemu, Bassirou Diagne, Egwuatu U. ONYEJELEM, Emile N. HOUNGBO, Isha Miranda, Jean de Dieu BIZIMANA, Khalid El Harizi, Lal Manavado, Lasha Khonelidze, Mohammed Lardi, Olivier Cossée, Pamela Dianne White, Ram Chandra Khanal, Richard Tinsley, Roxana Marcela Arce, Sébastien Galéa, Silva Ferretti, Svetlana Negroustoueva, Thierno Diouf, Umi Hanik, Una Carmel Murray