Principes pour une relation saine entre évaluateurs et experts

©Atul Loke

Principes pour une relation saine entre évaluateurs et experts

5 min.

Les évaluations conduites par les agences internationales de développement nécessitent de combiner différents types d'expertise.

L'un des dilemmes communs consiste à trouver un équilibre entre les membres de l'équipe d'évaluation qui comprennent le sujet technique et ceux qui ont une expertise en matière de méthodologies et processus d'évaluation. Dans la plupart des évaluations, les ressources font défaut pour recruter de larges équipes permettant de couvrir tous les domaines. Trouver des personnes qui soient des experts dans au moins une discipline, aient les compétences de langue appropriées et soient des évaluateurs qualifiés est un véritable défi.

Voici quelques principes pour instaurer une bonne relation de travail entre les rôles des experts et des évaluateurs dans les évaluations de développement sur la base de ma propre expérience d'évaluateur et de conversations informelles avec des collègues, en particulier lors de la dernière conférence EES.

Gérer les attentes et réduire la confusion

Tous les acteurs de l'évaluation doivent s'attacher à créer une compréhension commune du cadre de l'évaluation (objectifs, approche, sujet principal, méthodes, etc.). Vous gagnerez beaucoup de temps si, dès le début, vous consacrez du temps et des efforts à vérifier que vous parlez le même langage et que vous êtes d'accord sur les rôles et les contributions. Ne considérez pas que le jargon de l'évaluation est universel; d'autres professions pourraient avoir des définitions différentes des mêmes mots et concepts.

Veiller à ce que le chef de l'équipe de l'évaluation dispose des compétences appropriées pour accomplir sa mission

Tous les évaluateurs, en particulier le chef d'équipe, doivent faire preuve de compétences pour accomplir leur mission – l'ensemble des connaissances et compétences nécessaires au praticien. Un débat en cours concerne la «professionnalisation» de la pratique de l'évaluation dans différents contextes. Aucun des cadres proposés ne semble dériver systématiquement ou bénéficier de la validation empirique d'un consensus établi entre différents professionnels à travers le domaine, mais certains sont en cours d'élaboration, comme le développement et l'adoption de compétences au Canada. Créés comme fondement essentiel du titre d'Évaluateur qualifié établi par la Société canadienne d'évaluation (CES), cinq domaines de compétences ont été identifiés:

  • 1.0 Pratique réflexive: ces compétences se réfèrent aux normes et valeurs fondamentales qui sous-tendent la pratique de l'évaluation ainsi qu'à la conscience de sa propre expertise en évaluation et de ses besoins de développement.
  • 2.0 Pratique technique: ces compétences mettent l'accent sur les aspects spécialisés de l'évaluation, tels que la conception, la collecte des données, l'analyse, l'interprétation et la production de rapports.
  • 3.0 Pratique contextuelle: ces compétences visent l'application de la pensée évaluative pour l'analyse et la prise en compte des intérêts, problèmes et circonstances contextuelles uniques dans lesquels les compétences d'évaluation sont mises en œuvre.
  • 4.0 Pratique de gestion: ces compétences mettent l'accent sur les processus de gestion d'un projet/d'une évaluation, tels que l'élaboration du budget, la coordination des ressources et la supervision.
  • 5.0 Pratique concernant les relations interpersonnelles: ces compétences mettent l'accent sur les compétences relationnelles telles que la communication, la négociation, la résolution de conflit et la diversité.

Faciliter le travail des «évaluateurs occasionnels»

Si vous êtes un évaluateur expérimenté et si vous devez travailler avec des experts novices dans le travail d'évaluation, y compris de nombreux membres de l'équipe, clarifiez le processus et impliquez chacun dès le début. Créez des modèles, fournissez des ressources, partagez en temps opportun les commentaires et écoutez les idées et préoccupations des experts.

Veillez à ce que les experts connaissent les normes et standards d'évaluation et suivent les directives éthiques telles que la confidentialité, le respect des points et vue et des opinions, etc. Contrairement à certaines professions traditionnelles, la communauté de l'évaluation ne dispose pas encore d'un véritable «code de conduite». Cependant, les évaluateurs établis adhèrent aux normes, valeurs et standards éthiques généralement réunis dans des documents ayant une portée universelle, tels que les Normes et règles des Nations Unies pour l'évaluation, ou spécifiques à un contexte particulier, tels que les Standards d'évaluation pour l'Amérique latine et les Caraïbes du Réseau de l'Amérique latine et des Caraïbes pour le suivi, l'évaluation et la systématisation (ReLAC).

Lutter contre les biais et vérifier la validité des constatations

Les experts d'un sujet peuvent avoir une inclination particulière pour certaines méthodologies, techniques et pratiques spécifiques, dans leur domaine d'étude technique, ce qui est une véritable menace pour la validité des constatations de l'évaluation. Les experts, en tant qu'évaluateurs, ont tendance à se concentrer sur l'aspect technique plutôt que sur d'autres aspects tout aussi importants.

Si vous n'avez pas les moyens, en tant que chef d'équipe d'évaluation, de vérifier la qualité du travail accompli par les experts, veillez à ce que leur travail soit revu à la fois par les pairs et l'évaluand. Plus l'éventail des pairs effectuant la revue est large, plus les observations recueillies seront pertinentes et la crédibilité des constatations renforcée.

Toutefois, dans la mesure où les experts font autorité dans leur domaine, ils peuvent poursuivre le travail de plaidoyer, utiliser les constatations de l'évaluation dans leur domaine et façonner le programme de recherche et développement. Les évaluateurs ont tendance, pour leur part, à passer à l'évaluation suivante, ce qui réduit l'impact potentiel.

Quelles sont vos réflexions concernant le travail avec des experts dans des évaluations? Laissez un commentaire ici.

 

  • Dear Ibtissem,

    Thank you for posting a blog on this important issue. The complexity of development interventions requires that evaluation teams have various types of expertise. Yet, it is often quite difficult to secure right mix of expertise, and it is even more challenging to ensure that this expertise is effectively utilized during a short span of the evaluation process.

    Evaluation managers/leaders (hereinafter referred as Evaluation Team Leaders) need to make their thoughtful decisions on what expertise they need to obtain for the evaluation team, and what combination of expert knowledge and experience would work best for their evaluation.  In making these decisions and in leading the evaluation processes, Evaluation Leaders may indeed be guided by the five competency domains highlighted by Ibtissem  (or the Competencies for Canadian Evaluation Practice), which resonate with the 2016 UNEG Evaluation Competency Framework (http://www.unevaluation.org/document/detail/1915 ).  

    The role of the evaluation leader in managing the teams of experts, is indeed strategic and challenging, and I would like to add just a few considerations in this regard, to stimulate further discussion on this important topic:

    Establishing strong leadership

    Evaluation Team Leaders need to effectively lead the evaluation team, coordinating effective engagement of each expert in the team, validating their individual inputs and undertaking quality controls at key milestones. Continuous communication with each team member throughout the process is essential to ensure that any questions are potential risks of drawbacks are timely and effectively addressed.

    Ensuring compliance with organizational standards

    The Evaluation Team leaders need to require compliance of each team members with applicable rules and regulations, and standards of conduct established by the organization, and establish quality parameters of expected deliverables. In collaboration with each team member, Evaluation Team Leader should ensure that there is a shared understanding of what is to be evaluated and how, clarifying how organizational standards and processes are to be applied, and what is expected from each individual team member.

    Focus, focus, focus

    Biases are unavoidable, yet their influence can be minimized by focusing on evaluation objective and clearly establishing the scope of evaluation analysis. Furthermore, it should be made clear that any expert inputs and viewpoints need to be validated and supported with solid and relevant evidence.

    Building relationships

    Teambuilding skills are essential, to ensure that team members support each other and works towards achieving common objective.

    Engaging external expert panels

    If at all possible, external panels of experts may be engaged to provide feedback on key thematic areas of your evaluation analysis. Recognized experts from counterpart organizations may assist by serving as high-level expert panel members, to review findings produced.

    These are just a few examples, and I anticipate continued discussion on this topic. 

    Kindest regards,


    Serdar Bayryyev