RE: How are mixed methods used in programme evaluation? | Eval Forward

Cette discussion est particulièrement intéressante et singulière, notamment en raison de l'expérience multidisciplinaire des intervenants. J'utiliserai l'abréviation MM pour désigner les méthodes mixtes au cours de cette discussion. Sans anticiper d'autres idées et de nouvelles perspectives que les collègues souhaiteraient partager, permettez-moi de demander des éclaircissements supplémentaires pour notre apprentissage commun. Mes questions ne s'adressent pas uniquement aux personnes nommées mais sont des questions ouvertes. Vous pouvez également partager le lien sur d'autres plates-formes ou réseaux.

Tenez compte de ces réflexions avant de vous lancer dans les nouvelles questions. Continuez votre lecture, la cerise sur le gâteau arrive ensuite:

«L'utilisation [des MM en évaluation] est réussie lorsque le processus d'intégration est bien défini ou lorsque les méthodes sont appliquées consécutivement (par exemple en mettant en œuvre des discussions de groupe pour définir les questions de l'enquête ou en sélectionnant des cas sur la base d'une enquête pour les entretiens approfondis)», selon Cristian Maneiro. «Cinq objectifs pour les évaluations recourant aux méthodes mixtes: triangulation, complémentarité, développement, initiation et élargissement (résumés également dans cet article)», selon les propos d'Anne Kepler. J'encourage tous les spécialistes et adeptes de MM à lire cet article.

«Un bon plombier utilise différents outils, quand et comme il faut, et ne se demande pas quel type d'intervention ne nécessite qu'un seul outil... De même, un bon évaluateur doit savoir comment utiliser sa boîte à outils, qui contient de nombreux instruments, pas seulement une clef anglaise», pour Olivier Cossée.

«L'évaluation a également analysé et expliqué les résultats quantitatifs en s'appuyant sur des informations issues des méthodes qualitatives, ce qui a permis non seulement de caractériser l'intervention, la politique éducative et le financement, mais aussi de formuler des recommandations politiques importantes», a déclaré Maria Pia Cebrian.

Nouvelles questions:

  • Cristian: Merci d'avoir partagé votre expérience et votre préférence pour le modèle séquentiel exploratoire dans lequel les méthodes qualitatives précèdent les méthodes quantitatives. Une question supplémentaire: que pensez-vous d'une évaluation MM qui commence par une enquête et se termine par des entretiens qualitatifs ou des discussions de groupe – c'est-à-dire un modèle séquentiel explicatif. D'ailleurs, quelqu'un a-t-il déjà utilisé ou vu à l'œuvre un modèle séquentiel explicatif? De tels modèles d'évaluation recourant à des MM existent-ils? Continuons à recueillir des idées à partir des expériences et des diverses ressources écrites sur les modèles d'évaluations utilisant les MM et partageons-les!
  • Cristian a également soulevé un excellent point qui mérite d'être abordé. Certaines publications montrent que toutes les données non numériques sont qualitatives, comme par exemple les images, les cartes, les vidéos, etc., qu'en est-il de ces types de données? L'un de vous a-t-il expérimenté une combinaison de données numériques/quantitatives avec des données visuelles, spatiales et vidéo? Le cas échéant, merci de partager votre expérience. N'hésitez pas à partager vos idées sur la manière dont vous gérez ces données non numériques.
  • Emilia, vous avez illuminé ma journée (ou plutôt mon vol)! J'étais en avion lorsque j'ai lu les contributions des collègues. Un grand merci Emilia! Vous avez soulevé une question qui m'a rappelé que lorsque 1+1=2 en MM, c'est une perte. En MM, 1+1 doit être égal à 3, sinon c'est une perte, de manière réductrice. À ce propos, la perte est double. D'une part, découvrez cet article qui démontre avec éloquence que 1+1 devrait être égal à 3 dans les méthodes mixtes. La deuxième perte tien à ce que l'auteur de cet article, Michael Fetters, est décédé il y a quelques semaines et que certains universitaires partageant sa vision (Creswell, J. W., & Johnson, R. B. (2023) lui ont rendu hommage. Que son âme repose en paix!
  • Emilia, j'ai été ravi de lire votre article. Dans la littérature existante (rappelez-moi de la partager à un moment donné), on parle de MM lorsque les méthodes qualitatives et quantitatives sont combinées. Dans d'autres cas, lorsque des méthodes s'appuyant sur le même paradigme (par exemple qualitative) sont utilisées, elles ont été nommées multi-méthodes ou approches multiples.
  • « Puis – en allant un peu plus loin: ne pourrions-nous pas considérer que la combinaison des approches des «colonisateurs» avec celles des «autochtones» est également une méthode mixte»? « Ha ha ha ... dans le prochain African Evaluation Journal, un numéro spécial est consacré au traitement des asymétries de connaissances. Cette question pourrait être un excellent sujet pour nous interroger encore sur les combinaisons méthodologiques. Dans les faits, avons-nous des exemples dans lesquels les méthodologies occidentales (par exemple les enquêtes) sont combinées avec des méthodes orales ou visuelles du Sud. Je reste en attente de vos réponses et de celles d'autres collègues.
  • Lal, vous avez raison. Pourriez-vous fournir des exemples montrant comment la réflexion ou le fonctionnement compartimentés s'appliquent dans la mise en œuvre d'évaluation recourant aux MM?
  • «Margrieth, bien vu. Notre formation académique détermine dans une large mesure ce que nous intégrons dans notre pratique professionnelle. Comment comblons-nous cette lacune? Dans les méthodes mixtes, il est encouragé de pratiquer la «triangulation des chercheurs». Si je suis un dévoreur de chiffres, il faudrait idéalement que je travaille avec un chercheur qualitatif, un anthropologue par exemple, afin de nous compléter réciproquement, en combinant nos forces pour combler les lacunes de notre formation académique et de notre pratique professionnelle. Comment proposeriez-vous de mettre en œuvre une telle triangulation des chercheurs et des évaluateurs? L'un de vous a-t-il des exemples? Merci de les partager!
  • Pia: Impressionnant, différentes sources d'outils de collecte de données et d'analyses effectuées! Merci d'avoir partagé l'article publié. Cet article illustre bien la manière dont les chercheurs ou les évaluateurs peuvent être sélectifs ou biaisés selon leur formation académique comme l'a mentionné Margrieth dans son intervention. Cet article est entièrement dédié aux méthodes quantitatives et ne mentionne pas les méthodes qualitatives (sauf si cela m'a échappé en passant en revue rapidement l'article). Pourriez-vous contrôler sur la publication originale en espagnol, pour un meilleur apprentissage, comment les données des entretiens et des groupes de discussion ont été utilisées dans cette enquête? Merci d'avance!
  • Pia a clairement expliqué que le choix des méthodes quantitatives ou qualitatives ou des deux à la fois est en principe déterminé par notre formation professionnelle. La tendance des évaluateurs issus de certaines professions tels que les économistes, les ingénieurs ou les professions similaires consiste à utiliser des méthodes quantitatives, alors que les évaluateurs issus des disciplines artistiques ou des sciences humaines utilisent des méthodes qualitatives. Je suis tout à fait d'accord. Qu'en est-il des évaluateurs qui ont été formés comme dévoreurs de chiffres mais qui ont été réorientés par leur pratique professionnelle vers des méthodes qualitatives et inversement? J'en suis un exemple vivant, sans être enfermé dans aucune école de pensée.
  • Olivier: Votre article décrit très bien le modèle séquentiel exploratoire. Qu'en est-il des scénarios dans lesquels une évaluation débute par des méthodes quantitatives et engendre des résultats avec des conclusions contre-intuitives qui doivent être comprises et appréhendées?  Avez-vous observé dans votre pratique professionnelle de l'évaluation des cas où les méthodes quantitatives ont PRÉCÉDÉ les méthodes qualitatives, c'est-à-dire un modèle séquentiel explicatif?) Absolument, Olivier! Il n'existe pas de laboratoire pour les êtres sociaux comme c'est le cas dans les sciences naturelles.

 

Bon apprentissage à tous!