Cher Jean,

Merci d'avoir proposé ce sujet. Je souhaite également remercier Renata Mirulla pour son bon travail de gestion de ce forum. Je donne mon avis dans cette discussion car j'ai utilisé l'approche des méthodes mixtes dans la plupart, si ce n'est la totalité, de mes missions d'évaluation. Je devais en effet obligatoirement utiliser la méthode mixte pour l'évaluation de projets financés par l'USAID et le Département de l'agriculture des États-Unis. Vous pouvez trouver les rapports classés par thème à cette page (voir EVALUATIONS IN THE DEC).  https://dec.usaid.gov/dec/content/evaluations.aspx

Veuillez trouver ci-après ma réponse à vos questions. À la fin de ce document, je montre comment j'ai utilisé l'approche des méthodes mixtes pour deux projets «Food for Progress» en Gambie et au Sénégal. N'hésitez pas à me contacter si vous avez des questions.

Bien à vous,

Jackie

1. Lors de la phase de conception de l'évaluation – Quels sont les types de questions d'évaluation qui nécessitent/nécessitaient des méthodes mixtes? Quels sont les (dés)avantages de ne pas distinguer les questions d'évaluation qualitatives et quantitatives?

Il est possible d'obtenir une réponse à toutes les questions d'évaluation en utilisant l'approche des méthodes mixtes. Lors de la conception de la matrice ou du cadre de conception de l'évaluation, l'évaluateur identifiera pour chaque question d'évaluation l'/les informateur(s), la méthode de collecte des données qui sera utilisée ainsi que la méthode d'analyse associée. Pour une enquête quantitative par exemple, la méthode sera une méthode d'analyse de données statistiques telle que l'analyse descriptive ou l'analyse inférentielle; pour la méthode de recherche qualitative, l'analyse du contenu et l'analyse thématique peuvent être effectuées.

2. Lors de l'élaboration d'instruments de collecte des données pour l'évaluation par méthodes mixtes – Ces instruments sont-ils élaborés au même moment ou l'un après l'autre? Comment interagissent-ils?

Oui, en parallèle. Il y a UNE seule matrice de conception de l'évaluation qui utilise l'approche des méthodes mixtes; il y a toujours UNE seule évaluation, pas deux. Les deux méthodes s'efforceront de répondre à la même question. L'évaluation peut décider d'obtenir des informations pour une question spécifique en adoptant une seule méthode, par exemple la méthode qualitative pour les questions d'évaluation qui ont trait à la PERTINENCE.

3. Lors de l'échantillonnage – L'échantillonnage est-il effectué de différentes manières ou utilise-t-il le même cadre d'échantillonnage pour chaque méthodologie? Comment et pourquoi?

Nous identifions les informateurs et nous dressons la liste pour chaque catégorie.

L'enquête quantitative ne portera pas sur tous les informateurs ciblés par l'évaluation. Les enquêtes sont généralement menées sur de larges populations, par exemple les bénéficiaires des programmes, et un échantillon probabiliste de l'unité de population sera sélectionné. Un cadre d'échantillonnage est nécessaire, c'est-à-dire la liste de la population faisant l'objet de l'enquête (cadre de liste) ou un cadre de zone dans le cas d'une enquête auprès des ménages. Il convient de noter que la population n'est pas toujours constituée de personnes mais peut être constituée d'écoles ou d'exploitations agricoles par exemple. Plusieurs enquêtes peuvent être effectuées dans le cadre d'une évaluation, par exemple une enquête auprès des ménages, une enquête auprès des agriculteurs, une enquête auprès des fournisseurs d'intrants et une enquête de satisfaction auprès des clients sur les services reçus d'un établissement de crédit ou de microfinance par exemple, selon les activités du programme. Tout dépend de ce que nous essayons de trouver. Il convient de noter que les enquêtes quantitatives fourniront des données qui peuvent servir à calculer les indicateurs de performance tout en fournissant les caractéristiques de la population ciblée et la prévalence d'une situation ou d'un comportement, comme par exemple le pourcentage d'agriculteurs qui ne possèdent pas un certain type d'équipement ou le nombre de ménages qui mangent moins de 3 repas par jours. Les données sont pondérées en fonction de la population considérée et les estimations sont données pour l'ensemble ou pour des sous-ensembles de la population, par exemple selon le sexe ou les catégories d'âge (variables démographiques).

La collecte des données qualitatives ciblera les parties prenantes telles que les fonctionnaires publics, les responsables de programmes ou les fournisseurs, pour des entretiens avec les principaux informateurs ou semi-structurés. Les discussions de groupe sont réalisées sur un échantillon de la population plus large considérée ou des parties prenantes, par exemple les agriculteurs ou les responsables de santé de la communauté. Dans le cas de la recherche qualitative, l'échantillonnage raisonné est la technique utilisée pour sélectionner un groupe spécifique d'individus ou d'unités pour l'analyse. Les participants sont choisis «délibérément» et non de manière aléatoire. Cette technique est également connue sous le nom d'échantillonnage au jugé ou sélectif. Les informations réunies ne peuvent pas être généralisées à l'ensemble de la population. Le principal objectif de l'échantillonnage raisonné est d'identifier les cas, les individus ou les communautés les plus à même de répondre aux questions de la recherche ou de l'évaluation.

Notons qu'il n'y a pas de méthode correcte ou universellement reconnue pour calculer la taille de l'échantillon pour l'échantillonnage raisonné alors qu'il existe, dans les enquêtes quantitatives, des formules pour déterminer la taille de l'échantillon avec le niveau de fiabilité souhaité pour les estimations.

4. Lors de la collecte des données – Comment et pourquoi les données sont-elles collectées (simultanément ou consécutivement)?

Les données sont collectées de manière simultanée car il y a une échéance unique et un seul rapport à soumettre.

La collecte des données qualitatives est généralement réalisée par une seule personne (j'aime avoir une personne supplémentaire chargée de prendre des notes ou enregistrer les entretiens avec la permission de l'informateur à des fins d'assurance de qualité). Les enquêtes sont menées par une équipe d'enquêteurs formés ce qui rend le processus plutôt coûteux. Aujourd'hui, la collecte des données est généralement réalisée au moyen de tablettes plutôt que de questionnaires papier. Les données de l'enquête doivent être éditées (nettoyées) avant l'analyse des données. Les enquêtes peuvent également être réalisées par téléphone ou en ligne selon le type d'informateurs, mais le taux de réponse est inférieur à celui des entretiens en présentiel.

5. Lors de l'analyse des données – Les données sont-elles analysées ensemble/séparément? Quoi qu'il en soit, comment et qu'est-ce qui dicte l'approche analytique à retenir?

Les données sont analysées séparément. Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.

6. Lors de l'interprétation et de la communication des résultats – Comment les résultats sont-ils présentés, débattus et/ou communiqués?

Il y a un seul rapport d'évaluation, dans lequel les données quantitatives sont accompagnées d'un exposé et d'une explication/confirmation/justification des résultats tirés de la recherche qualitative et des sources secondaires. Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête. Dans un groupe de discussion, par exemple, les agriculteurs ont déclaré qu'ils ne peuvent pas acheter d'engrais car ce dernier est trop cher. L'enquête peut poser les mêmes questions et fournir le pourcentage des agriculteurs qui ne sont pas en mesure d'acheter des engrais, mais l'enquête peut aussi indiquer si ce problème est présent dans toutes les zones géographiques. Des entretiens qualitatifs approfondis peuvent fournir les autres raisons pour lesquelles ils ne peuvent pas acheter d'engrais.

L'approche des méthodes mixtes permet de tirer profit des avantages respectifs des méthodes qualitative et quantitative pour la collecte et l'analyse des informations afin de répondre aux questions de la recherche/ de l'évaluation.

Exemples d'évaluation utilisant l'approche des méthodes mixtes: