Jackie Yiptong Avila is Program Evaluator with over ten years of experience in conducting evaluation using a mixed methods approach. Previously. she has worked at Statistics Canada as a Survey Statistician and Methodologist, a career that spanned for over 30 years. She has extensive experience in designing and managing household, socio-economic and enterprise surveys as well as customer satisfaction surveys She has worked in West Africa, the Middle East, Haiti, Mauritius and Canada. Her experience in program evaluation includes
· Familiarity with the UN, USAID and USDA Evaluation Policy and Guidelines.
· Evaluation of USAID Feed the Future Food security and Nutrition Programs, USDA Food for Progress Agriculture Value Chains Program; UNDP Women and Youth empowerment and micro-enterprises Programs; UNFPA and USAID programs in humanitarian settings.
Jackie was a Staff member of the World Bank International Program for Development Evaluation Training (IPDET). She provides training and workshop facilitation in Survey Methodology; Monitoring and Evaluation. She is a member of the Canadian Evaluation Society; the American Evaluation Association; the Canadian Association of International Development Practitioners and is a Lifetime member of the International Development Evaluation Association ( IDEAS). She is fluent in English, French and Spanish and enjoys working with emerging young evaluators.
Jackie (Jacqueline) Yiptong Avila
Program Evaluator/Survey Methodologist Independent ConsultantCher Jean,
Merci d'avoir proposé ce sujet. Je souhaite également remercier Renata Mirulla pour son bon travail de gestion de ce forum. Je donne mon avis dans cette discussion car j'ai utilisé l'approche des méthodes mixtes dans la plupart, si ce n'est la totalité, de mes missions d'évaluation. Je devais en effet obligatoirement utiliser la méthode mixte pour l'évaluation de projets financés par l'USAID et le Département de l'agriculture des États-Unis. Vous pouvez trouver les rapports classés par thème à cette page (voir EVALUATIONS IN THE DEC). https://dec.usaid.gov/dec/content/evaluations.aspx
Veuillez trouver ci-après ma réponse à vos questions. À la fin de ce document, je montre comment j'ai utilisé l'approche des méthodes mixtes pour deux projets «Food for Progress» en Gambie et au Sénégal. N'hésitez pas à me contacter si vous avez des questions.
Bien à vous,
Jackie
1. Lors de la phase de conception de l'évaluation – Quels sont les types de questions d'évaluation qui nécessitent/nécessitaient des méthodes mixtes? Quels sont les (dés)avantages de ne pas distinguer les questions d'évaluation qualitatives et quantitatives?
Il est possible d'obtenir une réponse à toutes les questions d'évaluation en utilisant l'approche des méthodes mixtes. Lors de la conception de la matrice ou du cadre de conception de l'évaluation, l'évaluateur identifiera pour chaque question d'évaluation l'/les informateur(s), la méthode de collecte des données qui sera utilisée ainsi que la méthode d'analyse associée. Pour une enquête quantitative par exemple, la méthode sera une méthode d'analyse de données statistiques telle que l'analyse descriptive ou l'analyse inférentielle; pour la méthode de recherche qualitative, l'analyse du contenu et l'analyse thématique peuvent être effectuées.
2. Lors de l'élaboration d'instruments de collecte des données pour l'évaluation par méthodes mixtes – Ces instruments sont-ils élaborés au même moment ou l'un après l'autre? Comment interagissent-ils?
Oui, en parallèle. Il y a UNE seule matrice de conception de l'évaluation qui utilise l'approche des méthodes mixtes; il y a toujours UNE seule évaluation, pas deux. Les deux méthodes s'efforceront de répondre à la même question. L'évaluation peut décider d'obtenir des informations pour une question spécifique en adoptant une seule méthode, par exemple la méthode qualitative pour les questions d'évaluation qui ont trait à la PERTINENCE.
3. Lors de l'échantillonnage – L'échantillonnage est-il effectué de différentes manières ou utilise-t-il le même cadre d'échantillonnage pour chaque méthodologie? Comment et pourquoi?
Nous identifions les informateurs et nous dressons la liste pour chaque catégorie.
L'enquête quantitative ne portera pas sur tous les informateurs ciblés par l'évaluation. Les enquêtes sont généralement menées sur de larges populations, par exemple les bénéficiaires des programmes, et un échantillon probabiliste de l'unité de population sera sélectionné. Un cadre d'échantillonnage est nécessaire, c'est-à-dire la liste de la population faisant l'objet de l'enquête (cadre de liste) ou un cadre de zone dans le cas d'une enquête auprès des ménages. Il convient de noter que la population n'est pas toujours constituée de personnes mais peut être constituée d'écoles ou d'exploitations agricoles par exemple. Plusieurs enquêtes peuvent être effectuées dans le cadre d'une évaluation, par exemple une enquête auprès des ménages, une enquête auprès des agriculteurs, une enquête auprès des fournisseurs d'intrants et une enquête de satisfaction auprès des clients sur les services reçus d'un établissement de crédit ou de microfinance par exemple, selon les activités du programme. Tout dépend de ce que nous essayons de trouver. Il convient de noter que les enquêtes quantitatives fourniront des données qui peuvent servir à calculer les indicateurs de performance tout en fournissant les caractéristiques de la population ciblée et la prévalence d'une situation ou d'un comportement, comme par exemple le pourcentage d'agriculteurs qui ne possèdent pas un certain type d'équipement ou le nombre de ménages qui mangent moins de 3 repas par jours. Les données sont pondérées en fonction de la population considérée et les estimations sont données pour l'ensemble ou pour des sous-ensembles de la population, par exemple selon le sexe ou les catégories d'âge (variables démographiques).
La collecte des données qualitatives ciblera les parties prenantes telles que les fonctionnaires publics, les responsables de programmes ou les fournisseurs, pour des entretiens avec les principaux informateurs ou semi-structurés. Les discussions de groupe sont réalisées sur un échantillon de la population plus large considérée ou des parties prenantes, par exemple les agriculteurs ou les responsables de santé de la communauté. Dans le cas de la recherche qualitative, l'échantillonnage raisonné est la technique utilisée pour sélectionner un groupe spécifique d'individus ou d'unités pour l'analyse. Les participants sont choisis «délibérément» et non de manière aléatoire. Cette technique est également connue sous le nom d'échantillonnage au jugé ou sélectif. Les informations réunies ne peuvent pas être généralisées à l'ensemble de la population. Le principal objectif de l'échantillonnage raisonné est d'identifier les cas, les individus ou les communautés les plus à même de répondre aux questions de la recherche ou de l'évaluation.
Notons qu'il n'y a pas de méthode correcte ou universellement reconnue pour calculer la taille de l'échantillon pour l'échantillonnage raisonné alors qu'il existe, dans les enquêtes quantitatives, des formules pour déterminer la taille de l'échantillon avec le niveau de fiabilité souhaité pour les estimations.
4. Lors de la collecte des données – Comment et pourquoi les données sont-elles collectées (simultanément ou consécutivement)?
Les données sont collectées de manière simultanée car il y a une échéance unique et un seul rapport à soumettre.
La collecte des données qualitatives est généralement réalisée par une seule personne (j'aime avoir une personne supplémentaire chargée de prendre des notes ou enregistrer les entretiens avec la permission de l'informateur à des fins d'assurance de qualité). Les enquêtes sont menées par une équipe d'enquêteurs formés ce qui rend le processus plutôt coûteux. Aujourd'hui, la collecte des données est généralement réalisée au moyen de tablettes plutôt que de questionnaires papier. Les données de l'enquête doivent être éditées (nettoyées) avant l'analyse des données. Les enquêtes peuvent également être réalisées par téléphone ou en ligne selon le type d'informateurs, mais le taux de réponse est inférieur à celui des entretiens en présentiel.
5. Lors de l'analyse des données – Les données sont-elles analysées ensemble/séparément? Quoi qu'il en soit, comment et qu'est-ce qui dicte l'approche analytique à retenir?
Les données sont analysées séparément. Les évaluateurs doivent ensuite effectuer la triangulation des données en croisant les données de l'enquête avec les résultats tirés de la recherche qualitative et de la revue documentaire ou de toute autre méthode utilisée.
6. Lors de l'interprétation et de la communication des résultats – Comment les résultats sont-ils présentés, débattus et/ou communiqués?
Il y a un seul rapport d'évaluation, dans lequel les données quantitatives sont accompagnées d'un exposé et d'une explication/confirmation/justification des résultats tirés de la recherche qualitative et des sources secondaires. Parfois, un résultat tiré de la recherche qualitative sera accompagné de données quantitatives issues de l'enquête. Dans un groupe de discussion, par exemple, les agriculteurs ont déclaré qu'ils ne peuvent pas acheter d'engrais car ce dernier est trop cher. L'enquête peut poser les mêmes questions et fournir le pourcentage des agriculteurs qui ne sont pas en mesure d'acheter des engrais, mais l'enquête peut aussi indiquer si ce problème est présent dans toutes les zones géographiques. Des entretiens qualitatifs approfondis peuvent fournir les autres raisons pour lesquelles ils ne peuvent pas acheter d'engrais.
L'approche des méthodes mixtes permet de tirer profit des avantages respectifs des méthodes qualitative et quantitative pour la collecte et l'analyse des informations afin de répondre aux questions de la recherche/ de l'évaluation.
Exemples d'évaluation utilisant l'approche des méthodes mixtes:
Évaluation à la mi-parcours du projet «Millet Business Services»
Quatre enquêtes ont été menées:
Jackie (Jacqueline) Yiptong Avila
Program Evaluator/Survey Methodologist Independent ConsultantCher Jean,
En réponse à votre commentaire sur ma contribution à la discussion (copiée à la fin de ce texte pour référence), je souhaiterais tout d'abord remercier Malika Bounfour et Marlene Roefs pour avoir partagé deux documents très précieux.
Veuillez vous référer à la page 6 du document Mixed methods paper by WUR_WECR_Oxfam_0.pdf pour la définition du modèle convergent parallèle. C'est l'approche que j'utilise quand j'indique que les instruments de collecte de données sont développés en parallèle ou simultanément. Pour ce qui est de la matrice unique de conception de l'évaluation, elle suit ce qui est également décrit comme conception intégrée (Embedded design) également à la page 6.
En ce qui concerne les méthodes d'échantillonnage, j'invite mes collègues à consulter ce lien des Statistiques du Canada; j'ai travaillé pour cette agence nationale de la statistique pendant plus de 30 ans en qualité de chargé des méthodologies d'enquête.
https://www150.statcan.gc.ca/n1/edu/power-pouvoir/toc-tdm/5214718-eng.htm
En particulier, pour la distinction entre l'échantillonnage de type aléatoire ou probabiliste (utilisé dans les enquêtes quantitatives) et l'échantillonnage non probabiliste comme pour l'échantillonnage raisonné (utilisé dans la collecte de données qualitatives), veuillez consulter le paragraphe 3.2. Échantillonnage. https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm
Vous remarquerez dans la section 3.2.3 que certains envisagent d'utiliser l'échantillonnage raisonné dans des enquêtes quantitatives. Ce n'est pas la pratique adoptée par les agences officielles de statistiques. Il est également expliqué pourquoi l'échantillonnage non probabiliste doit être utilisé avec une extrême prudence.
J'espère que cela peut être utile. Je note à la page 13 du document Mixed methods paper by WUR_WECR_Oxfam_0.pdf envoyé par Marlene l'affirmation suivante «La combinaison d'informations issues des recherches quantitatives et qualitatives donne une image plus complète de la contribution d'un programme aux différents types de changement (social)». Je suis tout à fait d'accord avec cela.
Merci d'avoir proposé ce sujet sur EvalForward qui a suscité un fort intérêt au sein du groupe comme vous l'avez mentionné. Je suis personnellement favorable à l'approche des méthodes mixtes. D'après mon expérience, les conclusions tirées d'une évaluation à travers des méthodes mixtes reçoivent moins de réactions hostiles de la part de mes clients. Il est difficile de remettre en question ou de réfuter certaines conclusions lorsque la triangulation montre les mêmes résultats à partir de différentes sources.
Bien à vous,
Jackie
P.S.: J'ai fourni ce lien EVALUATIONS IN THE DEC https://dec.usaid.gov/dec/content/evaluations.aspx où vous trouverez des centaines d'exemples d'évaluation qui ont utilisé des méthodes mixtes.
Jackie: Merci infiniment d'avoir pris le temps de participer et d'apporter vos précieux commentaires. Puisque nous réfléchissons à notre pratique d'évaluation, pourriez-vous expliquer comment “toutes les questions d'évaluation peuvent obtenir une réponse à travers les méthodes mixtes?“ Selon vous, les instruments de collecte des données sont-ils développés en parallèle ou simultanément. Vous avez également affirmé qu'il n'existe qu'une seule matrice de conception de l'évaluation et que les deux méthodes s'efforcent donc de répondre à la même question. Pour l'échantillonnage, pourriez-vous clarifier la manière dont vous avez utilisé l'échantillonnage probabiliste ou non probabiliste, ou du moins décrire pour les lecteurs celui que vous avez appliqué, pourquoi et comment? Y aurait-il un problème si l'échantillonnage raisonné était appliqué pour une évaluation quantitative?