Chers collègues, un grand merci pour avoir fait des efforts extraordinaires afin d'apporter des perspectives supplémentaires et nouvelles à cette discussion. Il s'agit notamment de méthodes mixtes (MM) séquentielles, concurrentes et parallèles. Certaines analyses sont effectuées séparément, tandis que d'autres font appel à l'analyse des données de l'une ou l'autre méthode pour corroborer les tendances ou les résultats émanant de l'autre méthode.
L'une des dernières contributions comprend les points suivants : "Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.[...] Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête." Jackie.
"Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives." Gordon.
Lal : Merci d'avoir partagé deux projets, l'un sur "un pont d'un milliard de dollars pour relier une île au continent dans un pays riche d'Europe du Nord, l'autre sur une autoroute de plusieurs millions de dollars dans un pays africain". Il s'agit là d'un excellent exemple de ce qui peut mal se passer en cas de mauvaise conception des projets et d'évaluation inappropriée de ces projets. Existe-t-il des rapports écrits ou des références à partager ? Cela semble être une bonne source d'informations pour enrichir nos discussions et, surtout, notre pratique professionnelle de l'évaluation à l'aide de méthodes mixtes. J'aime beaucoup le point que vous avez soulevé : "L'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet. En ce qui concerne les projets utilisés à titre d'illustration, vous l'avez très bien résumé : "Les fournitures alimentaires d'urgence à une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et elles devraient être ajustées pour que l'approvisionnement soit adéquat dans ces circonstances".
Olivier : vous affirmez et convenez à juste titre que les modèles exploratoires séquentiels sont appropriés : "Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure". Mais vous reconnaissez également que : "il y a aussi de la place pour des approches qualitatives après un effort de quantification". Vous avez raison sur ce point : dans certains cas, une enquête peut donner des résultats qui semblent étranges, et une façon de les comprendre est de "zoomer" sur cette question particulière par le biais de quelques entretiens qualitatifs supplémentaires.
Gordon : Mea culpa, j'aurais dû préciser que la discussion porte sur l'évaluation d'un programme, d'un projet ou de toute intervention humanitaire ou de développement. Vous soulignez à juste titre la complexité qui sous-tend les programmes : "Les programmes sont rarement simples (la plupart des choses sont connues) mais potentiellement compliqués (nous savons ce que nous ne savons pas) ou complexes (nous ne savons pas ce que nous ne savons pas)". Un de vos arguments semble contradictoire : "Lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie !" Quelques détails supplémentaires ajouteraient au contexte et aideraient les lecteurs à comprendre le point que vous avez soulevé. De même, qui, de l'évaluateur ou de l'équipe du programme, doit décider des méthodes à utiliser ?
Bien que je demande à tous les collègues de lire toutes les contributions, celle de Jackie est différente, pleine de conseils pratiques et d'astuces utilisées dans les méthodes mixtes. Jackie : Merci beaucoup d'avoir pris le temps de nous faire part de vos commentaires perspicaces. Alors que nous réfléchissons à notre pratique d'évaluation, pourriez-vous nous expliquer comment "toutes les questions d'évaluation peuvent trouver une réponse en utilisant une approche de méthode mixte" ? Selon vous, les outils de collecte de données sont développés en parallèle ou simultanément. Et vous affirmez qu'il n'y a qu'UNE seule matrice de conception de l'évaluation, et que les deux méthodes tentent donc de répondre à la même question. En ce qui concerne l'échantillonnage, pourriez-vous préciser comment vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou au moins décrire pour les lecteurs lequel vous avez appliqué, pourquoi et comment ? L'utilisation d'un échantillonnage raisonné pour une évaluation quantitative pose-t-elle un problème ?
À l'exception de quelques exemples, la plupart des contributions sont jusqu'à présent plus théoriques et hypothétiques que pratiques et vécues. Je pense que ce qui peut nous aider tous en tant qu'évaluateurs, ce sont des conseils pratiques et des astuces, y compris des rapports d'évaluation ou des publications qui ont utilisé des méthodes mixtes (MM). N'hésitez pas à nous faire part de vos exemples pratiques et de vos références :
la phase de conception de l'évaluation MM
MM instruments de collecte de données
MM échantillonnage
MM collecte de données
MM l'analyse des données
MM interprétation, rapport et diffusion des résultats
Nous attendons avec impatience d'autres contributions.
RE: How are mixed methods used in programme evaluation?
Chers collègues, un grand merci pour avoir fait des efforts extraordinaires afin d'apporter des perspectives supplémentaires et nouvelles à cette discussion. Il s'agit notamment de méthodes mixtes (MM) séquentielles, concurrentes et parallèles. Certaines analyses sont effectuées séparément, tandis que d'autres font appel à l'analyse des données de l'une ou l'autre méthode pour corroborer les tendances ou les résultats émanant de l'autre méthode.
L'une des dernières contributions comprend les points suivants :
"Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.[...] Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête." Jackie.
"Les méthodes mixtes sont excellentes, mais leur degré d'utilisation et leur séquence doivent être basés sur les circonstances du programme et de l'évaluation, sinon, au lieu de répondre aux questions d'évaluation d'un programme complexe ou compliqué, nous nous retrouvons avec une constipation des données. Il n'est peut-être pas très judicieux d'utiliser toutes sortes de méthodes qualitatives à la fois, c'est-à-dire des enquêtes ouvertes, des entretiens d'information clés, des réunions de réflexion communautaire, des observations, des examens de documents, etc. en plus des méthodes quantitatives." Gordon.
Lal : Merci d'avoir partagé deux projets, l'un sur "un pont d'un milliard de dollars pour relier une île au continent dans un pays riche d'Europe du Nord, l'autre sur une autoroute de plusieurs millions de dollars dans un pays africain". Il s'agit là d'un excellent exemple de ce qui peut mal se passer en cas de mauvaise conception des projets et d'évaluation inappropriée de ces projets. Existe-t-il des rapports écrits ou des références à partager ? Cela semble être une bonne source d'informations pour enrichir nos discussions et, surtout, notre pratique professionnelle de l'évaluation à l'aide de méthodes mixtes. J'aime beaucoup le point que vous avez soulevé : "L'approche réductrice a fait en sorte que la qualité et la quantité aillent à l'encontre des objectifs du projet. En ce qui concerne les projets utilisés à titre d'illustration, vous l'avez très bien résumé : "Les fournitures alimentaires d'urgence à une zone sinistrée ne peuvent raisonnablement pas répondre aux mêmes normes de qualité ou de quantité, et elles devraient être ajustées pour que l'approvisionnement soit adéquat dans ces circonstances".
Olivier : vous affirmez et convenez à juste titre que les modèles exploratoires séquentiels sont appropriés : "Vous ne pouvez pas mesurer ce que vous ne comprenez pas bien, c'est pourquoi un examen qualitatif est toujours nécessaire avant toute tentative de mesure". Mais vous reconnaissez également que : "il y a aussi de la place pour des approches qualitatives après un effort de quantification". Vous avez raison sur ce point : dans certains cas, une enquête peut donner des résultats qui semblent étranges, et une façon de les comprendre est de "zoomer" sur cette question particulière par le biais de quelques entretiens qualitatifs supplémentaires.
Gordon : Mea culpa, j'aurais dû préciser que la discussion porte sur l'évaluation d'un programme, d'un projet ou de toute intervention humanitaire ou de développement. Vous soulignez à juste titre la complexité qui sous-tend les programmes : "Les programmes sont rarement simples (la plupart des choses sont connues) mais potentiellement compliqués (nous savons ce que nous ne savons pas) ou complexes (nous ne savons pas ce que nous ne savons pas)". Un de vos arguments semble contradictoire : "Lorsque quelque chose est trop compliqué ou complexe, la simplicité est la meilleure stratégie !" Quelques détails supplémentaires ajouteraient au contexte et aideraient les lecteurs à comprendre le point que vous avez soulevé. De même, qui, de l'évaluateur ou de l'équipe du programme, doit décider des méthodes à utiliser ?
Bien que je demande à tous les collègues de lire toutes les contributions, celle de Jackie est différente, pleine de conseils pratiques et d'astuces utilisées dans les méthodes mixtes.
Jackie : Merci beaucoup d'avoir pris le temps de nous faire part de vos commentaires perspicaces. Alors que nous réfléchissons à notre pratique d'évaluation, pourriez-vous nous expliquer comment "toutes les questions d'évaluation peuvent trouver une réponse en utilisant une approche de méthode mixte" ? Selon vous, les outils de collecte de données sont développés en parallèle ou simultanément. Et vous affirmez qu'il n'y a qu'UNE seule matrice de conception de l'évaluation, et que les deux méthodes tentent donc de répondre à la même question. En ce qui concerne l'échantillonnage, pourriez-vous préciser comment vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou au moins décrire pour les lecteurs lequel vous avez appliqué, pourquoi et comment ? L'utilisation d'un échantillonnage raisonné pour une évaluation quantitative pose-t-elle un problème ?
À l'exception de quelques exemples, la plupart des contributions sont jusqu'à présent plus théoriques et hypothétiques que pratiques et vécues. Je pense que ce qui peut nous aider tous en tant qu'évaluateurs, ce sont des conseils pratiques et des astuces, y compris des rapports d'évaluation ou des publications qui ont utilisé des méthodes mixtes (MM). N'hésitez pas à nous faire part de vos exemples pratiques et de vos références :
Nous attendons avec impatience d'autres contributions.