Comprendre d'abord: pourquoi il est essentiel de placer la compréhension avant la mesure

image
©Silva Ferretti

De la communauté EvalForward Comprendre d'abord: pourquoi il est essentiel de placer la compréhension avant la mesure

9 min.

Mesurer sans comprendre c'est "mettre la charrue avant les bœufs". Si nous mesurons quelque chose qui n'est pas clair ou s'appuie sur une hypothèse erronée, nous risquons de nous retrouver avec des données non pertinentes ou des conclusions fausses. Il est donc fondamental que nous comprenions avant de décider ce qu'il faut mesurer, voire s'il faut mesurer ou pas. Voici le principal message de Silva Ferretti, la consultante indépendante en évaluation qui a ouvert la troisième Discussion d'Evalforward, en remarquant avec finesse que ceci n'était pas toujours le cas mais devrait être une pratique courante en évaluation.

Cette session des Discussions d'Evalforward a souligné la nécessité de réaffirmer la compréhension comme priorité de l'évaluation et examiné les raisons pour lesquelles nous sommes trop souvent confrontés à des demandes de mesurer d'abord et avant tout, les risques d'accorder une trop grande importance à la mesure et la manière de relever ces défis dans la pratique. Silva a ouvert la discussion en exposant ses raisons et son expérience concernant l'importance excessive souvent accordée à la mesure.

Voici quelques-uns des principaux points issus du riche dialogue qui s'en est suivi parmi les participants. 

Les raisons qui justifient la nécessité de comprendre d'abord

“Quel que soit le programme, quel que soit le résultat, il y a toujours quelqu'un pour déclarer immédiatement: ‘Oh, nous devons nous assurer de mesurer ça!’, il s'agit presque d'un trouble obsessionnel de la mesure,” a expliqué Silva.

Nous devons tout d'abord saisir et comprendre les dynamiques qui sont en jeu, voir à quoi ressemblent les changements et ce qui les façonne. Une fois que cela est clair, nous pouvons décider quels sont les aspects de ces changements qui valent la peine d'être mesurés. Si nous commençons par mesurer, la mesure sera elle-même compromise par les nombreuses hypothèses effectuées. C'est un concept qui semble simple et évident, pourtant, il n'est pas appliqué de manière systématique dans la pratique. Comme Silva l'a expliqué, comprendre fait peur, car cela suppose de prendre en compte les complexités.  Néanmoins, cette compréhension des connexions, des dynamiques et des facteurs influents n'est-elle pas au cœur du travail de tout évaluateur avant de décider les mesures qui ont du sens pour ce projet ou programme spécifique?

Afin d'illustrer le concept, Silva a cité la carte du système de l'obésité élaborée par le Bureau des Sciences du Programme de prospective du Gouvernement britannique. La carte montre les différentes variables qui sous-tendent l'obésité, regroupées par ensembles thématiques, ainsi que leurs interconnexions positives et négatives. Une bonne compréhension a conduit à la construction d'une théorie du changement appropriée: comprendre les dynamiques que nous devons affronter pour stimuler le changement, les analyser et, enfin, mesurer certains aspects.

Silva a également cité l'évaluation d'un programme de résilience comme un autre bon exemple de l'importance de comprendre avant de mesurer. Pour élaborer une théorie du changement efficace, il est important d'être capable de passer d'un cadre initial d'éléments à des facteurs de changement (qui se cachent derrière chaque élément du cadre), des liens (la manière dont ils sont connectés), des systèmes et quelques mesures.

Notre propos n'est pas ici de débattre des différentes approches méthodologiques, dans une attitude binaire visant à opposer évaluation qualitative et évaluation quantitative. Il s'agit de veiller à ce que toutes les parties impliquées dans une évaluation soient conscientes des dimensions pertinentes qui doivent être prises en compte et qu'elles en comprennent le sens et les complexités sous-jacentes. La manière de les évaluer est une toute autre question.

Le lien vers la présentation de Silva est disponible ici (et vous pourrez en apprécier les jolis dessins).

D'où viennent ces demandes de mesure et comment les reconnaissons-nous?

Pourquoi les demandes de mesure sont-elles donc si fortes et répandues, et pourquoi le processus de mesure est-il souvent accepté sans discussion? Certaines des dynamiques et problématiques soulevées par les participants sont les suivantes:

  • L'urgence et l'accent mis sur les délais et les échéances de compte rendu limitent souvent le potentiel de réflexion et l'espace de compréhension.
  • L'idée selon laquelle la redevabilité et la crédibilité se fondent sur des données numériques, favorise le besoin pressant de se lancer dans la collecte et la production de données sans se soucier de savoir qui les utilise et comment elles sont utilisées. "Les données produites afin de rendre des comptes n'ont aucun sens" a affirmé l'un des participants.
  • Les propositions de projet s'appuient parfois elles-mêmes sur un ensemble d'actions sans aucune compréhension des dynamiques sous-jacentes. Qu'entendons-nous par obésité? Quelles dimensions devons-nous saisir afin que les politiques puissent être élaborées en s'appuyant sur les preuves produites?
  • Les mesures de données quantitatives et qualitatives sont souvent considérées comme la seule manière de communiquer les résultats: pourquoi éprouvons-nous le besoin de fournir des nombres pour avoir l'air crédibles?
  • Les mesures et les processus de mesure sont acceptés sans discussion. Les indicateurs peuvent être positifs alors qu'en réalité ils ne le sont pas et une analyse approfondie peut être nécessaire.
  • La tendance commune consistant à accorder une trop grande importance à la mesure rend l'évaluation difficile à comprendre et peut simplement être erronée ou trompeuse.
  • Certains donateurs se concentrent sur les mesures et les cibles, alors que d'autres indiquent juste des directions en laissant les responsables de la mise en œuvre décider de la manière d'avancer. C'est une approche beaucoup plus ouverte à l'apprentissage et la compréhension.

Exemple: Mesurer l'engagement avec la communauté locale à travers le nombre de participants dans un atelier de travail donné. Nous savons tous que ce nombre ne veut pas dire grand-chose, dans la mesure où, dans certains cas, les participants peuvent rentrer chez eux et partager avec enthousiasme ce qu'ils ont appris avec leurs voisins et le reste de la communauté, alors que, dans d'autres cas, ils peuvent simplement avoir été présents pour recevoir une compensation quelconque, sans avoir aucun intérêt pour l'apprentissage ou l'application de ce qu'ils ont entendu. Il existe de multiples raisons pour lesquelles des personnes pourraient être présentes. Pourquoi continuons-nous donc à rapporter ces nombres privés de sens? Que souhaitons-nous vraiment savoir sur l'engagement de la communauté?

La compréhension de quels acteurs est-il important de prendre en compte?

Les participants ont également observé une tendance à négliger la compréhension des personnes impliquées dans le projet. Un projet devrait intégrer, dans sa conception, la compréhension et les points de vue de tous les participants et parties prenantes, qui peuvent ensuite partager leur compréhension, que ce soit au travers d'images, de vidéos ou de tout autre instrument. Le personnel du projet a également souvent du mal à faire entendre leur voix et leur compréhension.

Que pouvons-nous faire à cet égard?

Les participants ont partagé leur expérience:

  • L'utilisation d'une approche combinant des méthodes mixtes augmente les possibilités de prendre en compte différentes structures et systèmes et d'aller au fond des choses.
  • Les cartes peuvent être un moyen efficace pour identifier et comprendre les connexions. Elles contribuent également à communiquer les résultats aux partenaires (en utilisant un processus itératif: cartographier, collecter des données, cartographier de nouveau et mesurer). Il est évident que la compréhension permet de communiquer et transmettre un message plus facilement, elle nous permet d'être plus précis et de nous affranchir du jargon et du vocabulaire sophistiqué privé de véritable signification.
  • Les approches participatives produisent des preuves et des informations sur les principales dynamiques qui ne seraient pas disponibles autrement et favorisent la compréhension collaborative, en permettant aux bénéficiaires de comprendre et aux évaluateurs de faciliter cette compréhension. Nous devrions les encourager.
  • Nous devrions changer l'état d'esprit des donateurs et des autres parties prenantes en défendant la nécessité de mettre l'accent sur la compréhension et la qualité des résultats.
  • Nous devrions utiliser des approches telles que la cartographie des résultats ou le recueil des résultats pour identifier les facteurs de changements et élaborer un système complexe de connexions de manière à comprendre les résultats.
  • Les évaluateurs ne devraient pas se garder de réaffirmer la nécessité de comprendre, qui est essentielle pour l'évaluation.
  • Rappelons les principes de l'évaluation axée sur l'évaluation développée par Patton[1], selon laquelle les évaluations doivent être menées de manière à encourager l'utilisation de leurs conclusions et des preuves produites.
  • Même lorsque les termes de référence semblent inflexibles, il est du ressort de l'évaluateur de les clarifier. Nous pouvons avoir l'impression que les donateurs souhaitent une approche classique, mais ces derniers peuvent être ouverts à de nouvelles perspectives si nous les présentons et défendons correctement.

 “Nous devons commencer à penser au coût de la connaissance perdue", a affirmé un participant.

Cliquer sur ce lien vers un tableau présentant les principaux défis et solutions partagés par les participants.

Ce n'est pas un résumé exhaustif de la discussion et des nombreuses réflexions partagées. N'hésitez pas à partager vos commentaires en utilisant la boîte de dialogue ci-dessous ou par mail à info@evalforward.org.