Comment les méthodes mixtes sont-elles utilisées dans les évaluations de programme?

Chers évaluateurs et collègues,

J'ai suivi les conversations et les interventions sur ce sujet avec beaucoup d'attention. Je pratique les méthodes mixtes depuis de nombreuses années en qualité de consultant mais aussi dans le cadre de mon travail quotidien dans le secteur du développement international. D'après mon expérience, l'application des méthodes mixtes dans les évaluations est plus facile à dire qu'à faire. La principale difficulté tient aux différences d'attentes et de compréhension relatives aux méthodes mixtes entre les commanditaires des évaluations et ceux à qui leur mise en œuvre est confiée. En tant que consultant, j'élabore régulièrement des propositions techniques ou des manifestations d'intérêt en réponse à des appels d'offres d'évaluation. Dans le cadre de ce processus, je suis amené à revoir les termes de référence de nombreuses évaluations chaque jour et je constate que sur quatre termes de référence sur cinq il est mentionné ou exigé spécifiquement d'utiliser une approche des méthodes mixtes. Toutefois, dans la majorité des cas, le temps ou le budget alloués ne sont souvent pas suffisants pour répondre aux exigences minimales de mise en œuvre d'une approche décente et logique des méthodes mixtes. De bonnes évaluations exigent un bon équilibre entre les preuves quantitatives et qualitatives complémentaires et/ou supplémentaires. Cela signifie donc qu'il est difficile dans la plupart des cas, quels que soient le commanditaire de l'évaluation ou la mention spécifique faite par le projet d'utiliser des méthodes mixtes, de répondre de manière satisfaisante aux questions d'évaluation standard sans prendre en compte à la fois des données quantitatives et qualitatives. En tant qu'évaluateur, vous avez donc seulement deux choix; 1) soit travailler dans les limites de temps et de budget alloués, ce qui pourrait compromettre la qualité des résultats de l'évaluation et avoir un impact sur votre intégrité professionnelle 2) soit payer la différence de prix et dépasser le temps et le budget alloués afin de fournir un travail de qualité.

Enfin, je dirais que la demande de méthodes mixtes ou les attentes dans les évaluations de programme est appelée à durer mais que le secteur du développement est encore loin de réaliser l'alignement nécessaire entre ces attentes et les moyens requis; en particulier les prix et les calendriers.

JT

Chers évaluateurs et collegues, 

Merci infiniment à ceux d'entre vous qui ont participé activement à cette discussion en répondant à mes questions et commentaires de suivi et à tous ceux qui ont lu les contributions à des fins d'apprentissage!

La discussion a été riche et stimulante. Elle a attiré l'attention sur les raisons pour lesquelles les méthodes mixtes sont appliquées ainsi que sur certaines difficultés et lacunes persistantes dans les applications pratiques de ces méthodes.

En conclusion, les méthodes mixtes sont sûrement appelées à durer. Cependant, il existe d'une part des instruments innovants et révolutionnaires tels que le Big Data, l'intelligence artificielle et l'apprentissage automatique qui ont commencé à dicter la manière de rassembler, traiter et présenter les données. D'autre part, certaines lacunes méthodologiques doivent être comblées. En tant qu'évaluateurs, nous avons un rôle à jouer pour veiller à ce que les méthodes mixtes ne soient pas simplement mentionnées dans les termes de référence et suivies superficiellement mais utilisées de manière appropriée en théorie comme en pratique.

Je partagerai bientôt un résumé de la discussion avec quelques réflexions méthodologiques personnelles, donc merci de rester à l'écoute!

JP

Cher Jean,

En réponse à votre commentaire sur ma contribution à la discussion (copiée à la fin de ce texte pour référence), je souhaiterais tout d'abord remercier Malika Bounfour et Marlene Roefs pour avoir partagé deux documents très précieux.

Veuillez vous référer à la page 6 du document Mixed methods paper by WUR_WECR_Oxfam_0.pdf pour la définition du modèle convergent parallèle. C'est l'approche que j'utilise quand j'indique que les instruments de collecte de données sont développés en parallèle ou simultanément. Pour ce qui est de la matrice unique de conception de l'évaluation, elle suit ce qui est également décrit comme conception intégrée (Embedded design) également à la page 6.

En ce qui concerne les méthodes d'échantillonnage, j'invite mes collègues à consulter ce lien des Statistiques du Canada; j'ai travaillé pour cette agence nationale de la statistique pendant plus de 30 ans en qualité de chargé des méthodologies d'enquête.

https://www150.statcan.gc.ca/n1/edu/power-pouvoir/toc-tdm/5214718-eng.htm

En particulier, pour la distinction entre l'échantillonnage de type aléatoire ou probabiliste (utilisé dans les enquêtes quantitatives)  et l'échantillonnage non probabiliste comme pour l'échantillonnage raisonné (utilisé dans la collecte de données qualitatives), veuillez consulter le paragraphe 3.2. Échantillonnage. https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm

Vous remarquerez dans la section 3.2.3 que certains envisagent d'utiliser l'échantillonnage raisonné dans des enquêtes quantitatives. Ce n'est pas la pratique adoptée par les agences officielles de statistiques. Il est également expliqué pourquoi l'échantillonnage non probabiliste doit être utilisé avec une extrême prudence.

J'espère que cela peut être utile. Je note à la page 13 du document Mixed methods paper by WUR_WECR_Oxfam_0.pdf envoyé par Marlene l'affirmation suivante «La combinaison d'informations issues des recherches quantitatives et qualitatives donne une image plus complète de la contribution d'un programme aux différents types de changement (social)». Je suis tout à fait d'accord avec cela.

Merci d'avoir proposé ce sujet sur EvalForward qui a suscité un fort intérêt au sein du groupe comme vous l'avez mentionné. Je suis personnellement favorable à l'approche des méthodes mixtes. D'après mon expérience, les conclusions tirées d'une évaluation à travers des méthodes mixtes reçoivent moins de réactions hostiles de la part de mes clients. Il est difficile de remettre en question ou de réfuter certaines conclusions lorsque la triangulation montre les mêmes résultats à partir de différentes sources.

Bien à vous,

Jackie

P.S.: J'ai fourni ce lien EVALUATIONS IN THE DEC https://dec.usaid.gov/dec/content/evaluations.aspx où vous trouverez des centaines d'exemples d'évaluation qui ont utilisé des méthodes mixtes.

Jackie: Merci infiniment d'avoir pris le temps de participer et d'apporter vos précieux commentaires. Puisque nous réfléchissons à notre pratique d'évaluation, pourriez-vous expliquer comment “toutes les questions d'évaluation peuvent obtenir une réponse à travers les méthodes mixtes?“ Selon vous, les instruments de collecte des données sont-ils développés en parallèle ou simultanément. Vous avez également affirmé qu'il n'existe qu'une seule matrice de conception de l'évaluation et que les deux méthodes s'efforcent donc de répondre à la même question. Pour l'échantillonnage, pourriez-vous clarifier la manière dont vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou du moins décrire pour les lecteurs celui que vous avez appliqué, pourquoi et comment? Y aurait-il un problème si l'échantillonnage raisonné était appliqué pour une évaluation quantitative?

Bonjour Jean Providence,

en réfléchissant à tes intéressants commentaires, je pense que nous avons encore un grand défi à relever dans le processus de triangulation "disciplinaire" d'une manière spécifique, et de ne pas se limiter uniquement à la triangulation des données en fonction de leur origine. En d'autres termes, les processus de triangulation, comme le soulignent Okuda et Gómez, et SAMAJA, peuvent très bien se référer à l'utilisation de différentes méthodes (quantitatives et qualitatives), sources de données, théories, chercheurs ou environnements dans l'étude d'un phénomène. Je considère que la plupart des cas se réfèrent davantage à la triangulation des données, comme dans le cas de cette évaluation du programme "Coopérer avec la jeunesse basque" de 2018 (en espagnol), mais il me reste à examiner de plus près la mise en œuvre d'une triangulation plus interdisciplinaire.

Chère Jean et chers collègues.

Merci d'avoir précisé que la discussion ne se limite pas aux programmes, mais qu'elle englobe également les projets ou toute intervention humanitaire ou de développement. Cette discussion est très intéressante et riche en informations. J'apprends beaucoup dans ce processus !

Lorsque je dis "lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie" dans le contexte des évaluations, je veux dire qu'il n'est pas nécessaire d'utiliser un ensemble ou plusieurs méthodologies et sources de données pour qu'une évaluation soit sensible à la complexité. Les données, tant quantitatives que qualitatives, peuvent rester légères et se concentrer sur les objectifs et les questions de l'évaluation. Par exemple, l'utilisation d'approches d'évaluation tenant compte de la complexité, telles que la récolte des résultats, la traçabilité des processus, l'analyse des contributions, l'analyse des réseaux sociaux, etc. ne signifie pas nécessairement qu'il faut appliquer plusieurs méthodes de collecte de données quantitatives et qualitatives. Par exemple, dans le cadre de l'Outcome Harvesting, il est possible d'utiliser l'analyse documentaire et les entretiens avec des informateurs clés pour élaborer des descripteurs de résultats, puis de réaliser une enquête et des entretiens avec des informateurs clés au cours de la phase de corroboration.  J'ai utilisé l'analyse des réseaux sociaux et les entretiens avec des informateurs clé our évaluer les changements dans les relations entre les acteurs d'un système de marché. J'ai utilisé l'analyse des réseaux sociaux suivie d'entretiens avec des informateurs clés dans le cadre d'une étude d'impact social d'un programme de développement de l'esprit d'entreprise chez les jeunes ruraux. En substance, vous pouvez limiter les méthodes de collecte de données à trois (le tabouret à trois pieds ou le concept du triangle) et atteindre vos objectifs d'évaluation avec des données légères et précises. On a beaucoup écrit sur la simplicité pour surmonter la complexité dans différents domaines de la vie, de la gestion, du leadership, etc.

En ce qui concerne la question de savoir qui décide de la méthodologie, l'évaluateur ou l'équipe du programme ? D'après mon expérience, un plan MEL est très clair sur les mesures et les méthodes d'évaluation. De plus, les plans de MEL sont élaborés par l'équipe du programme. Les évaluateurs sont invités à proposer une méthodologie d'évaluation dans les offres techniques afin de répondre à deux objectifs : évaluer leur compétence technique et identifier la meilleure adéquation avec le plan d'évaluation. En principe, l'évaluateur et l'équipe du programme se consultent sur la méthodologie la mieux adaptée au cours de la phase initiale de l'évaluation et cela fait partie du rapport initial qui est normalement signé par l'équipe du programme.

Voilà ce que j'en pense. 

Gordon

Bonjour à tous

Merci pour ce sujet de discussion, puisque la méthodologie dicte généralement la qualité du rapport.

Voici quelques exemples de mon point de vue sur les méthodes mixtes :

1. Lorsque l'on veut mesurer l'équité et l'égalité, les méthodes quantitatives doivent prévaloir et être soutenues par des méthodes qualitatives afin de mieux comprendre le pourquoi des choses. Exemple : quel pourcentage de financement pour le genre ; combien de filles à l'école... combien de kilomètres pour les routes rurales.... suivi d'une analyse politique.
2. Pour mesurer l'impact d'une intervention, il faut le mesurer en termes quantitatifs, ainsi que le comportement qui a conduit à l'accélération ou à la perte de l'impact.

Q2. lors du développement des instruments de collecte des données pour les évaluations avec des méthodes mixtes – ces instruments sont-ils développés simultanément ou l'un après l'autre? Comment interagissent-ils?

L'idéal est que tous les instruments soient prêts à l'avance. Toutefois, certains instruments qualitatifs peuvent donner lieu à des "améliorations". Par exemple, dans les entretiens avec les informateurs clés ou les groupes de discussion, les questions ouvertes permettent d'améliorer la collecte de données qualitatives au cas où des résultats inattendus seraient trouvés/observés. .

Voici une référence de la Banque mondiale qui décrit des situations où les méthodes quantitatives et qualitatives sont utilisées. Elle concerne l'évaluation d'impact, mais je la trouve utile pour la plupart des situations d'étude/de recherche.

L'évaluation d'impact dans la pratique [disponible en anglais et espagnol]

Salutations à tous.

Malika

J'adore cette discussion JP - ce que j'ai également observé, c'est l'utilisation de méthodes multiples (y compris quantiques et qualitatives), sans la partie "mixte" dans l'analyse et les résultats. Ils sont présentés comme deux ensembles distincts de résultats, sans synthèse significative des données. Je pense que les méthodes mixtes sont l'un des sujets les plus mal compris de l'évaluation (et de la recherche).

[commentaire publié à l'origine sur Linkedin]

Chers collègues, un grand merci pour avoir fait des efforts extraordinaires afin d'apporter des perspectives supplémentaires et nouvelles à cette discussion. Il s'agit notamment de méthodes mixtes (MM) séquentielles, concurrentes et parallèles. Certaines analyses sont effectuées séparément, tandis que d'autres font appel à l'analyse des données de l'une ou l'autre méthode pour corroborer les tendances ou les résultats émanant de l'autre méthode.

L'une des dernières contributions comprend les points suivants :
"Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.[...] Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête." Jackie.

"Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives." Gordon.

Lal : Merci d'avoir partagé deux projets, l'un sur "un pont d'un milliard de dollars pour relier une île au continent dans un pays riche d'Europe du Nord, l'autre sur une autoroute de plusieurs millions de dollars dans un pays africain". Il s'agit là d'un excellent exemple de ce qui peut mal se passer en cas de mauvaise conception des projets et d'évaluation inappropriée de ces projets. Existe-t-il des rapports écrits ou des références à partager ? Cela semble être une bonne source d'informations pour enrichir nos discussions et, surtout, notre pratique professionnelle de l'évaluation à l'aide de méthodes mixtes. J'aime beaucoup le point que vous avez soulevé : "L'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet. En ce qui concerne les projets utilisés à titre d'illustration, vous l'avez très bien résumé : "Les fournitures alimentaires d'urgence à une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et elles devraient être ajustées pour que l'approvisionnement soit adéquat dans ces circonstances".

Olivier : vous affirmez et convenez à juste titre que les modèles exploratoires séquentiels sont appropriés : "Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure". Mais vous reconnaissez également que : "il y a aussi de la place pour des approches qualitatives après un effort de quantification". Vous avez raison sur ce point : dans certains cas, une enquête peut donner des résultats qui semblent étranges, et une façon de les comprendre est de "zoomer" sur cette question particulière par le biais de quelques entretiens qualitatifs supplémentaires.

Gordon : Mea culpa, j'aurais dû préciser que la discussion porte sur l'évaluation d'un programme, d'un projet ou de toute intervention humanitaire ou de développement. Vous soulignez à juste titre la complexité qui sous-tend les programmes : "Les programmes sont rarement simples (la plupart des choses sont connues) mais potentiellement compliqués (nous savons ce que nous ne savons pas) ou complexes (nous ne savons pas ce que nous ne savons pas)". Un de vos arguments semble contradictoire : "Lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie !" Quelques détails supplémentaires ajouteraient au contexte et aideraient les lecteurs à comprendre le point que vous avez soulevé. De même, qui, de l'évaluateur ou de l'équipe du programme, doit décider des méthodes à utiliser ?

Bien que je demande à tous les collègues de lire toutes les contributions, celle de Jackie est différente, pleine de conseils pratiques et d'astuces utilisées dans les méthodes mixtes.
Jackie : Merci beaucoup d'avoir pris le temps de nous faire part de vos commentaires perspicaces. Alors que nous réfléchissons à notre pratique d'évaluation, pourriez-vous nous expliquer comment "toutes les questions d'évaluation peuvent trouver une réponse en utilisant une approche de méthode mixte" ? Selon vous, les outils de collecte de données sont développés en parallèle ou simultanément. Et vous affirmez qu'il n'y a qu'UNE seule matrice de conception de l'évaluation, et que les deux méthodes tentent donc de répondre à la même question. En ce qui concerne l'échantillonnage, pourriez-vous préciser comment vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou au moins décrire pour les lecteurs lequel vous avez appliqué, pourquoi et comment ? L'utilisation d'un échantillonnage raisonné pour une évaluation quantitative pose-t-elle un problème ?

À l'exception de quelques exemples, la plupart des contributions sont jusqu'à présent plus théoriques et hypothétiques que pratiques et vécues. Je pense que ce qui peut nous aider tous en tant qu'évaluateurs, ce sont des conseils pratiques et des astuces, y compris des rapports d'évaluation ou des publications qui ont utilisé des méthodes mixtes (MM). N'hésitez pas à nous faire part de vos exemples pratiques et de vos références :

• la phase de conception de l'évaluation MM
• MM instruments de collecte de données
• MM échantillonnage
• MM collecte de données
• MM l'analyse des données
• MM interprétation, rapport et diffusion des résultats

Nous attendons avec impatience d'autres contributions.

Merci chers collègues, la discussion est intéressante ! En collaboration avec Oxfam, nous avons examiné notre utilisation des méthodes mixtes et en avons tiré des enseignements très pratiques il y a quelque temps. Je joins le document pour les personnes intéressées (en anglais). 

Cher Jean,

Merci d'avoir proposé ce sujet. Je souhaite également remercier Renata Mirulla pour son bon travail de gestion de ce forum. Je donne mon avis dans cette discussion car j'ai utilisé l'approche des méthodes mixtes dans la plupart, si ce n'est la totalité, de mes missions d'évaluation. Je devais en effet obligatoirement utiliser la méthode mixte pour l'évaluation de projets financés par l'USAID et le Département de l'agriculture des États-Unis. Vous pouvez trouver les rapports classés par thème à cette page (voir EVALUATIONS IN THE DEC).  https://dec.usaid.gov/dec/content/evaluations.aspx

Veuillez trouver ci-après ma réponse à vos questions. À la fin de ce document, je montre comment j'ai utilisé l'approche des méthodes mixtes pour deux projets «Food for Progress» en Gambie et au Sénégal. N'hésitez pas à me contacter si vous avez des questions.

Bien à vous,

Jackie

1. Lors de la phase de conception de l'évaluation – Quels sont les types de questions d'évaluation qui nécessitent/nécessitaient des méthodes mixtes? Quels sont les (dés)avantages de ne pas distinguer les questions d'évaluation qualitatives et quantitatives?

Il est possible d'obtenir une réponse à toutes les questions d'évaluation en utilisant l'approche des méthodes mixtes. Lors de la conception de la matrice ou du cadre de conception de l'évaluation, l'évaluateur identifiera pour chaque question d'évaluation l'/les informateur(s), la méthode de collecte des données qui sera utilisée ainsi que la méthode d'analyse associée. Pour une enquête quantitative par exemple, la méthode sera une méthode d'analyse de données statistiques telle que l'analyse descriptive ou l'analyse inférentielle; pour la méthode de recherche qualitative, l'analyse du contenu et l'analyse thématique peuvent être effectuées.

2. Lors de l'élaboration d'instruments de collecte des données pour l'évaluation par méthodes mixtes – Ces instruments sont-ils élaborés au même moment ou l'un après l'autre? Comment interagissent-ils?

Oui, en parallèle. Il y a UNE seule matrice de conception de l'évaluation qui utilise l'approche des méthodes mixtes; il y a toujours UNE seule évaluation, pas deux. Les deux méthodes s'efforceront de répondre à la même question. L'évaluation peut décider d'obtenir des informations pour une question spécifique en adoptant une seule méthode, par exemple la méthode qualitative pour les questions d'évaluation qui ont trait à la PERTINENCE.

3. Lors de l'échantillonnage – L'échantillonnage est-il effectué de différentes manières ou utilise-t-il le même cadre d'échantillonnage pour chaque méthodologie? Comment et pourquoi?

Nous identifions les informateurs et nous dressons la liste pour chaque catégorie.

L'enquête quantitative ne portera pas sur tous les informateurs ciblés par l'évaluation. Les enquêtes sont généralement menées sur de larges populations, par exemple les bénéficiaires des programmes, et un échantillon probabiliste de l'unité de population sera sélectionné. Un cadre d'échantillonnage est nécessaire, c'est-à-dire la liste de la population faisant l'objet de l'enquête (cadre de liste) ou un cadre de zone dans le cas d'une enquête auprès des ménages. Il convient de noter que la population n'est pas toujours constituée de personnes mais peut être constituée d'écoles ou d'exploitations agricoles par exemple. Plusieurs enquêtes peuvent être effectuées dans le cadre d'une évaluation, par exemple une enquête auprès des ménages, une enquête auprès des agriculteurs, une enquête auprès des fournisseurs d'intrants et une enquête de satisfaction auprès des clients sur les services reçus d'un établissement de crédit ou de microfinance par exemple, selon les activités du programme. Tout dépend de ce que nous essayons de trouver. Il convient de noter que les enquêtes quantitatives fourniront des données qui peuvent servir à calculer les indicateurs de performance tout en fournissant les caractéristiques de la population ciblée et la prévalence d'une situation ou d'un comportement, comme par exemple le pourcentage d'agriculteurs qui ne possèdent pas un certain type d'équipement ou le nombre de ménages qui mangent moins de 3 repas par jours. Les données sont pondérées en fonction de la population considérée et les estimations sont données pour l'ensemble ou pour des sous-ensembles de la population, par exemple selon le sexe ou les catégories d'âge (variables démographiques).

La collecte des données qualitatives ciblera les parties prenantes telles que les fonctionnaires publics, les responsables de programmes ou les fournisseurs, pour des entretiens avec les principaux informateurs ou semi-structurés. Les discussions de groupe sont réalisées sur un échantillon de la population plus large considérée ou des parties prenantes, par exemple les agriculteurs ou les responsables de santé de la communauté. Dans le cas de la recherche qualitative, l'échantillonnage raisonné est la technique utilisée pour sélectionner un groupe spécifique d'individus ou d'unités pour l'analyse. Les participants sont choisis «délibérément» et non de manière aléatoire. Cette technique est également connue sous le nom d'échantillonnage au jugé ou sélectif. Les informations réunies ne peuvent pas être généralisées à l'ensemble de la population. Le principal objectif de l'échantillonnage raisonné est d'identifier les cas, les individus ou les communautés les plus à même de répondre aux questions de la recherche ou de l'évaluation.

Notons qu'il n'y a pas de méthode correcte ou universellement reconnue pour calculer la taille de l'échantillon pour l'échantillonnage raisonné alors qu'il existe, dans les enquêtes quantitatives, des formules pour déterminer la taille de l'échantillon avec le niveau de fiabilité souhaité pour les estimations.

4. Lors de la collecte des données – Comment et pourquoi les données sont-elles collectées (simultanément ou consécutivement)?

Les données sont collectées de manière simultanée car il y a une échéance unique et un seul rapport à soumettre.

La collecte des données qualitatives est généralement réalisée par une seule personne (j'aime avoir une personne supplémentaire chargée de prendre des notes ou enregistrer les entretiens avec la permission de l'informateur à des fins d'assurance de qualité). Les enquêtes sont menées par une équipe d'enquêteurs formés ce qui rend le processus plutôt coûteux. Aujourd'hui, la collecte des données est généralement réalisée au moyen de tablettes plutôt que de questionnaires papier. Les données de l'enquête doivent être éditées (nettoyées) avant l'analyse des données. Les enquêtes peuvent également être réalisées par téléphone ou en ligne selon le type d'informateurs, mais le taux de réponse est inférieur à celui des entretiens en présentiel.

5. Lors de l'analyse des données – Les données sont-elles analysées ensemble/séparément? Quoi qu'il en soit, comment et qu'est-ce qui dicte l'approche analytique à retenir?

Les données sont analysées séparément. Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.

6. Lors de l'interprétation et de la communication des résultats – Comment les résultats sont-ils présentés, débattus et/ou communiqués?

Il y a un seul rapport d'évaluation, dans lequel les données quantitatives sont accompagnées d'un exposé et d'une explication/confirmation/justification des résultats tirés de la recherche qualitative et des sources secondaires. Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête. Dans un groupe de discussion, par exemple, les agriculteurs ont déclaré qu'ils ne peuvent pas acheter d'engrais car ce dernier est trop cher. L'enquête peut poser les mêmes questions et fournir le pourcentage des agriculteurs qui ne sont pas en mesure d'acheter des engrais, mais l'enquête peut aussi indiquer si ce problème est présent dans toutes les zones géographiques. Des entretiens qualitatifs approfondis peuvent fournir les autres raisons pour lesquelles ils ne peuvent pas acheter d'engrais.

L'approche des méthodes mixtes permet de tirer profit des avantages respectifs des méthodes qualitative et quantitative pour la collecte et l'analyse des informations afin de répondre aux questions de la recherche/ de l'évaluation.

Exemples d'évaluation utilisant l'approche des méthodes mixtes:

Salutations à tous !

La question de Jean est très intéressante et les contributions sont très perspicaces !

Tout d'abord, je pense que la question de Jean est très spécifique - c'est la façon dont les méthodes mixtes sont utilisées non seulement dans les évaluations, mais aussi dans les évaluations de PROGRAMME, n'est-ce pas ? Ensuite, nous savons qu'un programme se compose de deux projets ou plus, c'est-à-dire d'un ensemble de projets. Par conséquent, les programmes sont rarement simples (où la plupart des choses sont connues) mais potentiellement compliqués (où nous savons ce que nous ne savons pas) ou complexes (où nous ne savons pas ce que nous ne savons pas). Le dictionnaire anglais Oxford nous dit qu'une méthode est une procédure particulière pour accomplir ou approcher quelque chose. Les outils sont utilisés dans les procédures. J'appartiens à l'école de pensée qui pense que lorsque quelque chose est trop compliquée ou complexe, la simplicité est la meilleure stratégie !

En fonction du contexte, de la conception du programme, du plan d'évaluation du programme, des objectifs et des questions de l'évaluation, l'évaluateur et l'équipe du programme peuvent se mettre d'accord sur la ou les meilleures méthodes permettant d'atteindre les objectifs de l'évaluation et de répondre de manière exhaustive aux questions de l'évaluation. J'aime ce qui se passe dans le domaine médical, dans les hôpitaux où, sauf dans certaines situations d'urgence, un patient fait l'objet d'un triage, d'une évaluation clinique et d'un examen historique par le médecin, d'un examen de laboratoire, d'une radiologie, etc. En fonction des circonstances et des ressources, il juge si toutes ces sources d'information sont essentielles ou non.

Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives.

Quoi qu'il en soit, les projets individuels du programme ont peut-être déjà fait l'objet d'une évaluation complète et leur contribution aux objectifs du programme a été documentée, et quelque chose de simple, comme un examen, est ce qui est nécessaire au niveau du programme.

Quand c'est compliqué ou complexe, il faut faire simple. Données allégées.

Ce que j'en pense.

Je vous remercie.

Gordon

Voici la réponse à la question de Jean Providence: avez-vous observé des cas dans la pratique professionnelle de l'évaluation où les méthodes quantitatives ont PRÉCÉDÉ les méthodes qualitatives? Je répondrais ainsi: 1) Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure. Si ma femme se trouve dans un magasin de meubles et m'envoie le message suivant: «Chéri, j'ai trouvé ce merveilleux article pour la cuisine, qui coûte 500 et mesure 2 m de long sur 1,5 m de large. Tu es d'accord?» Je ne saurais pas quoi répondre, car, malgré tous les nombres qu'elle m'a fournis, je ne sais pas du tout de quoi elle parle, qualitativement. Est-ce qu'elle parle d'une table, d'un placard ou d'un tapis? Il est absurde de quantifier une chose sans la qualifier au préalable.

2) Ceci étant, des approches qualitatives peuvent également avoir leur place après des activités de quantification. Vous avez entièrement raison à ce propos: dans certains cas, une enquête peut donner des résultats qui paraissent étranges, et l'une des manières de leur donner du sens est de «zoomer» sur ce problème particulier en menant des entretiens qualitatifs complémentaires.

J'espère que cette réponse est utile.

Salutations !

J'aurais dû dire "agir en silos", car penser est une action. C'est une expression que quelqu'un a inventée au cours des discussions qui ont abouti à l'élaboration de l'ensemble actuel d'objectifs de développement durable. Après tout, ce n'est qu'une autre expression pour décrire la pensée et l'action réductivistes, tout comme le fait d'appeler une bêche un outil de tranchée (armée américaine).

Avant d'aller plus loin, permettez-moi de rappeler mon point de départ :

Une bonne évaluation d'un résultat proposé ou atteint d'un projet ou d'un plan consiste à vérifier son adéquation avec l'objectif prévu dans les circonstances dans lesquelles il est mis en œuvre.

Il est évident que les mots clés sont ici "adéquation" et "circonstances dans lesquelles il est mis en œuvre". Nous avons donc trois éléments à prendre en compte, à savoir un élément fixe, c'est-à-dire une finalité ou un objectif, qui peut toutefois être atteint ou non en fonction des circonstances. Permettez-moi d'illustrer mon propos à l'aide de deux exemples apparus sur ce forum il y a quelque temps.  Le premier concerne un pont d'un milliard de dollars destiné à relier une île au continent dans un pays riche d'Europe du Nord, tandis que le second est une autoroute de plusieurs millions de dollars dans un pays africain.

Les deux projets étaient très satisfaisants sur le plan qualitatif et quantitatif ; leur qualité technique était excellente et leur capacité était importante. Dans les deux cas, certaines circonstances critiques ont été totalement ignorées, ce qui a conduit à leur échec par rapport aux objectifs visés. Ici, l'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet.

Voici ce qui s'est passé : ce pont devait permettre aux habitants de l'île de se rendre en voiture, par n'importe quel temps, à leur travail dans une ville située sur le continent, ce qui serait plus facile que d'utiliser le ferry pour ce faire, comme c'était le cas jusqu'à présent. Le péage de ce trajet devait couvrir les frais de construction et d'exploitation du pont.

Mais dès qu'il a été achevé, les habitants de l'île ont utilisé le pont pour quitter l'île et s'installer près de leur lieu de travail, en utilisant leurs anciennes maisons comme résidences d'été ! Il n'est donc pas nécessaire d'en dire plus sur l'importance de la qualité et de la quantité, car les planificateurs n'ont pas envisagé la possibilité que les habitants de l'île quittent l'île. Ils ont été contraints de rester, car le ferry n'est pas un moyen pratique de déménager.

Dans le cas de l'autoroute, l'objectif était d'initier une croissance économique dans les villages traversés. Elle devait aider les villageois à transporter leurs produits vers de meilleurs marchés et les investisseurs à venir.

Mais les planificateurs n'ont pas remarqué que les villageois ne disposaient même pas du strict minimum en matière de transport motorisé et que la pauvreté de la région restait inchangée, tandis qu'une chèvre occasionnelle se promenait tranquillement sur une autoroute moderne.

Ainsi, l'adéquation d'un résultat comporte une composante qualitative et une composante quantitative qui sont régies par les circonstances pertinentes dans lesquelles un projet ou un plan est mis en œuvre. Dans ma note précédente, j'ai souligné que les approvisionnements alimentaires d'urgence d'une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et qu'ils devraient être ajustés pour que l'approvisionnement soit adéquat dans ces circonstances 

J'espère que mes propos sont un peu plus clairs.

Je vous remercie !

Quisiera agradecer y apreciar a todos los participantes en el debate en curso, que considero muy interesante, sensibilizador e inductor de un replanteamiento de las metodologías de evaluación. El debate ha sacado a la luz experiencias de diferentes intelectuales con formación en investigación básica e investigación aplicada y de profesionales del desarrollo.  Creo que las distintas experiencias han profundizado y ampliado la comprensión de "cómo se utilizan los métodos mixtos en las evaluaciones de programas".

Soy profesional del desarrollo en el ámbito de la agricultura (ganadería y pesca y gestión de recursos naturales). Según mi experiencia, "cómo se utilizan los métodos mixtos en las evaluaciones de programas/desarrollo" suele depender del tipo de datos/información que se vaya a evaluar. Así, dependiendo de la naturaleza del programa/proyecto de desarrollo a evaluar, los datos requeridos podrían ser, por ejemplo, cuantitativos y cualitativos.  Como todos sabemos, los datos cuantitativos son información que puede cuantificarse, contarse o medirse, y a la que se asigna un valor numérico. Mientras que los datos cualitativos son de naturaleza descriptiva, expresados en términos de lenguaje y no de valores numéricos.

También me gustaría relacionar esto con el "Enfoque de marco lógico de planificación de proyectos" (proyecto que se evaluará posteriormente durante la ejecución). A mi entender, la mayoría de los programas de desarrollo tienen un "marco lógico" que muestra claramente: objetivos del programa/proyecto; resultados; productos; actividades junto con resúmenes narrativos; indicadores objetivamente verificables; medios de verificación y supuestos.  Así, durante la evaluación, el programa/proyecto se evaluará en función de lo que figure en el marco lógico, lo que requerirá métodos de evaluación mixtos en función de la naturaleza del programa/proyecto. Por ejemplo, entre otros, el uso de métodos cualitativos y cualitativos puede contribuir al éxito de la evaluación. El uso de métodos cualitativos y cualitativos reforzará la evaluación.  Aparte del método cuantitativo, pueden utilizarse métodos cualitativos, por mencionar algunos, como los debates en grupo, las entrevistas en profundidad, los estudios de casos, etc.

Chers collègues :

Tant de contributions ont été faites qui englobent de multiples points de vue dans la discussion sur l'approche des méthodes mixtes dans l'évaluation.

Ma question fondamentale est la suivante : comment pouvons-nous répondre à cette préoccupation soulevée par JP tout en tenant compte des contraintes budgétaires probables dans les processus d'évaluation et des limitations qui orientent les évaluateurs vers des approches quantitatives qui sont plus rentables ? [Principalement sans l'acquisition et l'application d'un logiciel haut de gamme pour la collecte, la transcription et l'analyse des données].

Merci d'avance !

Les méthodes qualitatives sont souvent descriptives. Quelqu'un a-t-il utilisé l'inférence causale qualitative ?

L'objectif de l'inférence causale qualitative est de prouver la relation de cause à effet, soit en regardant vers le passé, soit en regardant vers l'avenir. J'ai l'impression que cette approche s'appuie fortement sur des entretiens non scénarisés, où les problèmes non découverts sont révélés par des questions complémentaires. (Que voulez-vous dire ? Pouvez-vous donner un exemple ?)

Cette discussion est particulièrement intéressante et singulière, notamment en raison de l'expérience multidisciplinaire des intervenants. J'utiliserai l'abréviation MM pour désigner les méthodes mixtes au cours de cette discussion. Sans anticiper d'autres idées et de nouvelles perspectives que les collègues souhaiteraient partager, permettez-moi de demander des éclaircissements supplémentaires pour notre apprentissage commun. Mes questions ne s'adressent pas uniquement aux personnes nommées mais sont des questions ouvertes. Vous pouvez également partager le lien sur d'autres plates-formes ou réseaux.

Tenez compte de ces réflexions avant de vous lancer dans les nouvelles questions. Continuez votre lecture, la cerise sur le gâteau arrive ensuite:

«L'utilisation [des MM en évaluation] est réussie lorsque le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées consécutivement (par exemple en mettant en œuvre des discussions de groupe pour définir les questions de l'enquête ou en sélectionnant des cas sur la base d'une enquête pour les entretiens approfondis)», selon Cristian Maneiro. «Cinq objectifs pour les évaluations recourant aux méthodes mixtes: triangulation, complémentarité, développement, initiation et élargissement (résumés également dans cet article)», selon les propos d'Anne Kepler. J'encourage tous les spécialistes et adeptes de MM à lire cet article.

«Un bon plombier utilise différents outils, quand et comme il faut, et ne se demande pas quel type d'intervention ne nécessite qu'un seul outil... De même, un bon évaluateur doit savoir comment utiliser sa boîte à outils, qui contient de nombreux instruments, pas seulement une clef anglaise», pour Olivier Cossée.

«L'évaluation a également analysé et expliqué les résultats quantitatifs en s'appuyant sur des informations issues des méthodes qualitatives, ce qui a permis non seulement de caractériser l'intervention, la politique éducative et le financement, mais aussi de formuler des recommandations politiques importantes», a déclaré Maria Pia Cebrian.

Nouvelles questions:

• Cristian: Merci d'avoir partagé votre expérience et votre préférence pour le modèle séquentiel exploratoire dans lequel les méthodes qualitatives précèdent les méthodes quantitatives. Une question supplémentaire: que pensez-vous d'une évaluation MM qui commence par une enquête et se termine par des entretiens qualitatifs ou des discussions de groupe – c'est-à-dire un modèle séquentiel explicatif. D'ailleurs, quelqu'un a-t-il déjà utilisé ou vu à l'œuvre un modèle séquentiel explicatif? De tels modèles d'évaluation recourant à des MM existent-ils? Continuons à recueillir des idées à partir des expériences et des diverses ressources écrites sur les modèles d'évaluations utilisant les MM et partageons-les!

• Cristian a également soulevé un excellent point qui mérite d'être abordé. Certaines publications montrent que toutes les données non numériques sont qualitatives, comme par exemple les images, les cartes, les vidéos, etc., qu'en est-il de ces types de données? L'un de vous a-t-il expérimenté une combinaison de données numériques/quantitatives avec des données visuelles, spatiales et vidéo? Le cas échéant, merci de partager votre expérience. N'hésitez pas à partager vos idées sur la manière dont vous gérez ces données non numériques.

• Emilia, vous avez illuminé ma journée (ou plutôt mon vol)! J'étais en avion lorsque j'ai lu les contributions des collègues. Un grand merci Emilia! Vous avez soulevé une question qui m'a rappelé que lorsque 1+1=2 en MM, c'est une perte. En MM, 1+1 doit être égal à 3, sinon c'est une perte, de manière réductrice. À ce propos, la perte est double. D'une part, découvrez cet article qui démontre avec éloquence que 1+1 devrait être égal à 3 dans les méthodes mixtes. La deuxième perte tien à ce que l'auteur de cet article, Michael Fetters, est décédé il y a quelques semaines et que certains universitaires partageant sa vision (Creswell, J. W., & Johnson, R. B. (2023) lui ont rendu hommage. Que son âme repose en paix!

• Emilia, j'ai été ravi de lire votre article. Dans la littérature existante (rappelez-moi de la partager à un moment donné), on parle de MM lorsque les méthodes qualitatives et quantitatives sont combinées. Dans d'autres cas, lorsque des méthodes s'appuyant sur le même paradigme (par exemple qualitative) sont utilisées, elles ont été nommées multi-méthodes ou approches multiples.
• « Puis – en allant un peu plus loin: ne pourrions-nous pas considérer que la combinaison des approches des «colonisateurs» avec celles des «autochtones» est également une méthode mixte»? « Ha ha ha ... dans le prochain African Evaluation Journal, un numéro spécial est consacré au traitement des asymétries de connaissances. Cette question pourrait être un excellent sujet pour nous interroger encore sur les combinaisons méthodologiques. Dans les faits, avons-nous des exemples dans lesquels les méthodologies occidentales (par exemple les enquêtes) sont combinées avec des méthodes orales ou visuelles du Sud. Je reste en attente de vos réponses et de celles d'autres collègues.
• Lal, vous avez raison. Pourriez-vous fournir des exemples montrant comment la réflexion ou le fonctionnement compartimentés s'appliquent dans la mise en œuvre d'évaluation recourant aux MM?
• «Margrieth, bien vu. Notre formation académique détermine dans une large mesure ce que nous intégrons dans notre pratique professionnelle. Comment comblons-nous cette lacune? Dans les méthodes mixtes, il est encouragé de pratiquer la «triangulation des chercheurs». Si je suis un dévoreur de chiffres, il faudrait idéalement que je travaille avec un chercheur qualitatif, un anthropologue par exemple, afin de nous compléter réciproquement, en combinant nos forces pour combler les lacunes de notre formation académique et de notre pratique professionnelle. Comment proposeriez-vous de mettre en œuvre une telle triangulation des chercheurs et des évaluateurs? L'un de vous a-t-il des exemples? Merci de les partager!
• Pia: Impressionnant, différentes sources d'outils de collecte de données et d'analyses effectuées! Merci d'avoir partagé l'article publié. Cet article illustre bien la manière dont les chercheurs ou les évaluateurs peuvent être sélectifs ou biaisés selon leur formation académique comme l'a mentionné Margrieth dans son intervention. Cet article est entièrement dédié aux méthodes quantitatives et ne mentionne pas les méthodes qualitatives (sauf si cela m'a échappé en passant en revue rapidement l'article). Pourriez-vous contrôler sur la publication originale en espagnol, pour un meilleur apprentissage, comment les données des entretiens et des groupes de discussion ont été utilisées dans cette enquête? Merci d'avance!
• Pia a clairement expliqué que le choix des méthodes quantitatives ou qualitatives ou des deux à la fois est en principe déterminé par notre formation professionnelle. La tendance des évaluateurs issus de certaines professions tels que les économistes, les ingénieurs ou les professions similaires consiste à utiliser des méthodes quantitatives, alors que les évaluateurs issus des disciplines artistiques ou des sciences humaines utilisent des méthodes qualitatives. Je suis tout à fait d'accord. Qu'en est-il des évaluateurs qui ont été formés comme dévoreurs de chiffres mais qui ont été réorientés par leur pratique professionnelle vers des méthodes qualitatives et inversement? J'en suis un exemple vivant, sans être enfermé dans aucune école de pensée.
• Olivier: Votre article décrit très bien le modèle séquentiel exploratoire. Qu'en est-il des scénarios dans lesquels une évaluation débute par des méthodes quantitatives et engendre des résultats avec des conclusions contre-intuitives qui doivent être comprises et appréhendées?  Avez-vous observé dans votre pratique professionnelle de l'évaluation des cas où les méthodes quantitatives ont PRÉCÉDÉ les méthodes qualitatives, c'est-à-dire un modèle séquentiel explicatif?) Absolument, Olivier! Il n'existe pas de laboratoire pour les êtres sociaux comme c'est le cas dans les sciences naturelles.

Bon apprentissage à tous!

Chers collègues :

Je vous salue depuis l'Uruguay !

Je pense que la discussion lancée par Jean est très pertinente. Les méthodes mixtes sont sans aucun doute une stratégie puissante pour aborder un objet d'évaluation sous différents angles, et c'est presque une pratique standard dans la plupart des termes de référence d'évaluation (TDR) que l'on voit actuellement, que ce soit pour les agences des Nations Unies ou d'autres.

Cependant, je reconnais que le terme devient parfois un cliché et qu'il est utilisé sans se demander si une stratégie de méthodes mixtes est réellement la plus appropriée. On part du principe que différentes techniques (généralement des entretiens avec des informateurs clés et des enquêtes) fourniront des informations complémentaires, mais les commanditaires n'ont souvent pas d'idée claire sur la manière dont ces informations seront intégrées et triangulées. À mon avis, les cas réussis sont ceux où le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées de manière séquentielle (par exemple, en organisant des groupes de discussion pour définir les questions de l'enquête ou en sélectionnant des cas basés sur une enquête pour des entretiens approfondis).

En outre, je comprends qu'avec les développements technologiques actuels, les méthodes mixtes ont de nouvelles potentialités. Il ne s'agit plus seulement de la combinaison typique d'entretiens avec des informateurs clés et de discussions avec des groupes cibles avec des enquêtes ; au lieu de cela, il peut s'agir d'une analyse de big data utilisant l'apprentissage automatique, l'analyse des sentiments, et bien d'autres choses encore.

Salutations à Emilia et aux autres membres !

En tant que personne qui détermine la valeur de l'évaluation en fonction de son importance pragmatique pour un projet en cours de planification ou achevé dans une certaine mesure, je suis heureux de constater que vous qualifiez le débat actuel de réducteur.

Bien sûr, ce mode de pensée semble être profondément enraciné dans presque tous les domaines, et ce qui a été fait jusqu'à présent pour nous débarrasser de cet incube semble être d'inventer une nouvelle expression pour le décrire, à savoir "penser en silos". Son extension à l'évaluation donne lieu à l'inévitable discussion sur la qualité et le quantitatif.

Je pense qu'il serait utile de considérer l'évaluation comme un effort visant à déterminer l'adéquation d'un objectif à atteindre ou réalisé par un projet. Cette adéquation dépend naturellement d'un certain nombre de variables qu'il faut prendre en considération et qui varient à leur tour en fonction des circonstances. Permettez-moi de citer quelques exemples :

1. L'adéquation de l'approvisionnement alimentaire d'une zone sinistrée ne peut être mesurée par rapport à la nécessité d'un régime alimentaire varié et équilibré pour le groupe cible.
2. L'adéquation d'un programme d'éducation doit être déterminée en fonction de son utilité pour ceux qui sont censés en bénéficier. Ici, on entend souvent parler de la nécessité d'avoir une population sachant lire, écrire et compter, alors que ce qu'elle peut faire avec ces attributs utiles reste toujours flou.

En résumé, l'évaluation pourrait un jour se préoccuper de l'adéquation d'un résultat par rapport à sa qualité et à sa quantité réalisables de manière optimale dans un ensemble de circonstances existant.

Je suis d'accord avec le point de vue de JP.

Nous devons considérer la boîte à outils qui correspond à notre évaluation.

L'approche mixte est utile en fonction du contexte : La qualité au point de départ, puis la quantité pour les preuves et les mesures.

Je vous remercie.

Chers collègues,

Pour ceux d'entre vous qui ne le connaissent pas, je recommande vivement ce livre de mon gourou sur l'application des méthodes mixtes à l'évaluation : Mixed Methods in Social Inquiry, de Jennifer Greene.

Bien qu'il ait été écrit il y a 16 ans, il est toujours très pertinent. J'apprécie particulièrement les cinq objectifs des évaluations par méthodes mixtes : triangulation, complémentarité, développement, initiation et expansion (également résumés dans cet article : https://www.jstor.org/stable/1163620).

Anne Kepple

Bonjour Jean, et merci pour cette question !

Je pense que toutes les questions d'évaluation demandent une approche mixte. Les outils de collecte de données ne sont que des outils; il faut les utiliser de manière opportuniste -- quand ca marche -- mais surtout pas les idolâtrer. Ce serait comme un plombier qui adore les clés à molette mais n'aime pas les tournevis, et qui chercherait à tout faire avec une clé à molette, y compris visser des vis... Ca serait absurde: un bon plombier utilise plusieurs outils, quand et comme nécessaire, et il ne se pose pas la question de savoir quelles type de plomberie ne nécessite qu'un seul outil...

De même un bon évaluateur doit savoir utiliser une boite à outils, avec plusieurs outils dedans et pas seulement clé à molette.

Je suis d'accord avec Vincente, sur le fait qu'un travail qualitatif doit toujours PRÉCÉDER un effort quantitatif. Avant de mesurer quelque chose, il faut savoir pourquoi et comment la mesurer, et pour cela il faut une compréhension QUALITATIVE de l'objet de la mesure. Une des erreurs les plus fréquentes des "randomistas" est précisément de dépenser beaucoup de temps et d'argent dans des enquêtes trop longues et trop complexes, parce qu'ils ne savent pas ce qu'il est important de mesurer. Donc ils essayent de tout mesurer avec des questionnaires sans fin, et échouent régulièrement.

Chers tous,

(Et merci à JP d'avoir lancé cette discussion, je ne réponds pas beaucoup mais vous lire tous est toujours une excellente occasion d'apprendre !)  

De mon point de vue, la méthodologie devrait toujours être au service de l'évaluation, c'est-à-dire que la triangulation d'une évaluation basée sur le problème et l'utilisation de l'une ou l'autre méthodologie d'évaluation est pertinente en termes de fournir une analyse plus complète de l'objet de l'évaluation et des questions d'évaluation, ainsi que des recommandations qui peuvent être fournies.

En ce qui concerne les méthodes quantitatives/qualitatives, mes deux cents sont liés à cette évaluation qui a cherché à démontrer l'efficacité de l'investissement du gouvernement péruvien dans l'enseignement supérieur par le biais de subventions accordées aux personnes vivant dans la pauvreté.  Dans le cadre de la méthodologie, elle a utilisé des modèles minceriens, des analyses univariées, bivariées et multivariées, ainsi que des enquêtes avec des questions ouvertes et fermées, l'examen et l'analyse de sources secondaires et des entretiens approfondis. L'évaluation a également analysé et expliqué les résultats quantitatifs à l'aide d'informations issues de méthodes qualitatives, ce qui a permis non seulement de caractériser l'intervention, la politique éducative et le financement, mais aussi de formuler des recommandations politiques plus pertinentes.  

Malheureusement, l'étude est en espagnol, mais certains de ses résultats sont également présentés dans cet article en anglais : "Returns to university higher education in Peru : The Effect of Graduation", in HUMAN Review, 11(2), 2022, pp. 59-72 (Scopus, EBSCO, ISOC, REDIB, Dialnet) (Salazar Cóndor, 2022a)

Cordialement

Chère Emilia et chers collègues,

Je pense que la contribution du professeur Shaffer est tout à fait pertinente. D'après mon expérience sur le terrain dans le cadre de missions d'évaluation, il est absolument vital de développer un ensemble de méthodologies capables d'analyser ce que nous devons comprendre. Et d'après mon expérience, cet ensemble de méthodologies est toujours un mélange de méthodologies qualitatives (d'abord, pour "explorer la réalité") et quantitatives (pour "déduire des tendances et des magnitudes"). Et, comme vous l'avez dit, il est difficile de les traiter comme "absolument qualitatives" ou "absolument quantitatives". Une relation intelligente entre les méthodologies qualitatives et quantitatives est toujours l'une des étapes les plus difficiles du processus de préparation de la mission d'évaluation.

Dans l'attente d'autres commentaires intéressants sur ce sujet absolument passionnant de l'évaluation, je vous transmets mes meilleures salutations.

Vicente

Chers collègues, et merci à Jean d'avoir provoqué ce débat.

Je vous prie de bien vouloir m'excuser si j'apporte une goutte de contenu académique à la discussion, en espérant que nous pourrons l'élargir un peu.

Que sont les méthodes mixtes après tout ? Je pense que le débat quanti x quali est assez réductionniste ; et honnêtement, après toutes ces décennies, je n'arrive pas à croire que nous discutions encore de la question de savoir si les essais contrôlés randomisés (RCT par l'acronyme anglais) sont l'étalon-or.

J'aimerais évoquer une approche qui a retenu mon attention et qui a été présentée par le professeur Paul Shaffer de l'université de Trent (Canada). Son approche est axée sur les méthodes mixtes pour l'évaluation de l'impact, mais je crois comprendre qu'elle peut être extrapolée à d'autres types d'études, telles que l'évaluation des résultats. Ce qui me plaît dans sa proposition, c'est qu'elle dépasse et approfondit le débat quanti + quali.

Selon lui, les catégories censées différencier les approches quanti x quali s'effondrent. Par exemple, (i) les données qualitatives sont souvent quantifiées ; (ii) les grandes études qualitatives peuvent permettre la généralisation (alors que l'échelle/généralisation serait une caractéristique des études quantitatives), et (iii) les inférences par induction et déduction sont presque toujours présentes.  

À la lumière de ce qui précède, que sont les "méthodes mixtes" ?

L'expression "méthodes mixtes" signifie que l'on combine des approches qui peuvent apporter de la robustesse à votre conception, des perspectives/angles différents pour examiner le même objet. En fonction des questions auxquelles vous souhaitez répondre/de ce que vous voulez tester, les "méthodes mixtes" pour l'évaluation d'impact peuvent signifier la combinaison de deux méthodes quantitatives ou plus. Par conséquent, différentes méthodes qualitatives peuvent être utilisées pour améliorer la robustesse d'une évaluation ou d'une recherche, ce que l'on appelle également des "méthodes mixtes".

Et puis, en allant un peu plus loin, ne pourrions-nous pas considérer que le mélange des approches des "colonisateurs" avec celles des "indigènes" constitue également des "méthodes mixtes" ?

J'espère que cela contribuera à la réflexion.

Je vous remercie.

Emilia

Emilia Bretan

Evaluation Specialist

FAO Office of Evaluation (OED)

Merci pour ce thème de discussion.  

J'ajouterais une 7e considération, sur la façon dont les méthodes qualitatives interagissent ou diffèrent des méthodes quantitatives :  

Lors de la diffusion des résultats et des recommandations - CComment les résultats et les recommandations des méthodes qualitatives et quantitatives sont-ils diffusés pour obtenir le résultat/l'impact le plus efficace, et auprès de qui ? Existe-t-il des preuves que certaines approches de diffusion des résultats qualitatifs et quantitatifs sont plus efficaces/réceptives à certaines/à la plupart des parties prenantes que d'autres approches ?

Dr. Uzodinma Adirieje

Past National President, Nigerian Association of Evaluators (NAE)                                                           

CEO/Programmes Director, Afrihealth Optonet Association (AHOA)

Discussion intéressante, et pour commencer, je pense que le choix des méthodes quantitatives ou qualitatives, ou des deux, est en principe déterminé par votre parcours professionnel. Les évaluateurs issus de professions telles que l'économie, l'ingénierie ou autres ont tendance à utiliser des méthodes quantitatives, tandis que les évaluateurs issus de domaines humanitaires utilisent des méthodes qualitatives. L'évaluation des programmes doit surmonter ces tendances et utiliser efficacement des méthodes mixtes afin de démontrer les changements et les progrès réalisés par les programmes à partir des deux approches.

Un défi, par exemple, est la conception d'indicateurs plus qualitatifs, plus difficiles à construire, mais de plus en plus nécessaires car ils permettent d'obtenir des informations relatives aux sentiments et aux effets non quantifiables de et sur la population participant aux programmes.