Jackie Yiptong Avila is Program Evaluator with over ten years of experience in conducting evaluation using a mixed methods approach. Previously. she has worked at Statistics Canada as a Survey Statistician and Methodologist, a career that spanned for over 30 years. She has extensive experience in designing and managing household, socio-economic and enterprise surveys as well as customer satisfaction surveys She has worked in West Africa, the Middle East, Haiti, Mauritius and Canada. Her experience in program evaluation includes
· Familiarity with the UN, USAID and USDA Evaluation Policy and Guidelines.
· Evaluation of USAID Feed the Future Food security and Nutrition Programs, USDA Food for Progress Agriculture Value Chains Program; UNDP Women and Youth empowerment and micro-enterprises Programs; UNFPA and USAID programs in humanitarian settings.
Jackie was a Staff member of the World Bank International Program for Development Evaluation Training (IPDET). She provides training and workshop facilitation in Survey Methodology; Monitoring and Evaluation. She is a member of the Canadian Evaluation Society; the American Evaluation Association; the Canadian Association of International Development Practitioners and is a Lifetime member of the International Development Evaluation Association ( IDEAS). She is fluent in English, French and Spanish and enjoys working with emerging young evaluators.
Jackie (Jacqueline) Yiptong Avila
Program Evaluator/Survey Methodologist Independent ConsultantEstimado Jean,
Gracias por plantear este tema. También quiero agradecer a Renata Mirulla su buena labor administrando este foro. Aporto mi granito de arena a esta discusión tras haber utilizado métodos mixtos en la mayor parte —si no en la totalidad— de mi trabajo en el ámbito de la evaluación. De hecho, para evaluar proyectos financiados por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) y el Departamento de Agricultura de los Estados Unidos (USDA, por sus siglas en inglés) tuve que utilizar obligatoriamente métodos mixtos. En esta página web pueden encontrar los informes de evaluación desglosados por temas (véase la sección “EVALUATIONS IN THE DEC”). https://dec.usaid.gov/dec/content/evaluations.aspx
A continuación, pueden encontrar mi respuesta a las preguntas formuladas por Jean. Al final pueden ver cómo he utilizado el enfoque de métodos mixtos en la evaluación de dos proyectos del programa Alimentos para el Progreso en Gambia y Senegal. No duden en ponerse en contacto conmigo si tienen cualquier pregunta.
Un cordial saludo,
Jackie
1. Durante la fase de diseño de la evaluación. ¿Qué tipo de preguntas de evaluación requieren (o requirieron) métodos mixtos? ¿Cuáles son las (des)ventajas de que no haya preguntas de evaluación cualitativas/cuantitativas independientes?
Cualquier pregunta de evaluación se puede responder utilizando un enfoque de métodos mixtos. Al elaborar la matriz o el marco de diseño de una evaluación, el evaluador identifica el informante(s) y el método de recopilación de datos que utilizará con el correspondiente método de análisis para cada pregunta de la evaluación. Por ejemplo, para una encuesta cuantitativa puede utilizar un método de análisis estadístico de datos como el análisis descriptivo o el análisis inferencial. En lo que respecta al método de investigación cualitativa, el evaluador se puede decantar por un análisis de contenido y un análisis temático.
2. A la hora de desarrollar instrumentos de recopilación de datos para evaluaciones que utilizan métodos mixtos. ¿Los instrumentos se desarrollan al mismo tiempo o uno después de otro? ¿Cómo interactúan entre ellos?
Al mismo tiempo, en paralelo. Hay UNA matriz de diseño de la evaluación que utiliza un enfoque de métodos mixtos, ya que se realiza UNA evaluación, no dos. Ambos métodos intentarán dar respuesta a la misma pregunta. El evaluador puede utilizar un único método para obtener información para una pregunta concreta. Por ejemplo, puede recurrir al método cualitativo para las preguntas de evaluación relacionadas con la PERTINENCIA.
3. Durante el muestreo. ¿El muestreo se realiza de forma diferente o se utiliza el mismo marco de muestreo para cada aspecto metodológico? ¿Cómo y por qué?
Identificamos a los informadores y confeccionamos la lista para cada tipo.
La encuesta cuantitativa no abarca a todos los informadores objeto de la evaluación. Las encuestas se suelen realizar para poblaciones grandes (p. ej. beneficiarios de los programas). Se selecciona una muestra probabilística de la unidad de población. Es necesario un marco de muestreo. Es decir, la lista de la población encuestada (marco de la lista) o un marco del área, como en el caso de una encuesta por hogares. Cabe observar que la población no tiene que ser necesariamente un grupo de personas. Puede tratarse de escuelas o explotaciones agrícolas, por citar dos ejemplos. En una evaluación se puede realizar más de una encuesta. En función de las actividades del programa, se podría llevar a cabo una encuesta por hogares, una encuesta a agricultores, una encuesta a proveedores internos y una encuesta de satisfacción de los beneficiarios con los servicios recibidos de una institución de préstamo o microfinanciación, por citar algunos ejemplos. Todo depende de lo que queramos averiguar. Obsérvese que las encuestas cuantitativas proporcionan datos que pueden utilizarse para calcular indicadores de desempeño, así como para determinar características de la población objetivo y la prevalencia de una situación o comportamiento (p. ej. porcentaje de agricultores que no disponen de un determinado tipo de equipamiento; número de hogares en los que se ingieren menos de tres comidas diarias). Los datos se ponderan en función de la población de interés y se realizan estimaciones para toda la población o subconjuntos de ésta, como por ejemplo individuos del mismo género o grupo de edad (variables demográficas).
La recopilación de datos cualitativos se centra en las partes interesadas (p. ej. funcionarios del gobierno, oficiales de programas, proveedores) para entrevistas con informantes clave o semiestructuradas. Las discusiones por grupos especializados se llevan a cabo con una muestra de la población de interés o de las partes interesadas (p. ej. agricultores, oficiales de sanidad de la comunidad). En el caso de la investigación cualitativa, el muestreo intencional es la técnica utilizada para seleccionar un grupo específico de individuos o unidades para análisis. Los participantes se eligen “intencionadamente”, no al azar. También se denomina muestreo de juicio o muestreo selectivo. La información obtenida no se puede generalizar a toda la población. El objetivo principal del muestreo intencional es identificar los casos, individuos o comunidades más adecuados para ayudar a responder a las preguntas de la investigación o evaluación.
Cabe señalar que no existe un método correcto o comúnmente aceptado para calcular el tamaño de una muestra para el muestreo intencionado. Sin embargo, en las encuestas cuantitativas existen fórmulas para determinar el tamaño de la muestra con el nivel deseado de fiabilidad de las estimaciones.
4. Durante la recopilación de datos. ¿Cómo y por qué se recopilan los datos (de forma simultánea o secuencial)?
La información se recopila de forma simultánea, ya que hay un plazo y un único informe de evaluación que presentar.
La recopilación de datos cualitativos la suele llevar a cabo una sola persona (a mí me gusta tomar notas o grabar las entrevistas —con el permiso del informante— para garantizar la calidad). Las encuestas las realiza un equipo de encuestadores capacitados. Esto encarece bastante el proceso. Hoy en día, solemos utilizar tabletas —en lugar de cuestionarios en papel— para recopilar información. Antes de analizar los datos de las encuestas, es preciso editarlos (limpiarlos). En función del tipo de informante, las encuestas también se pueden realizar por teléfono o Internet, aunque el índice de respuesta es inferior al de las entrevistas presenciales.
5. Durante el análisis de datos. ¿Los datos se analizan de forma conjunta o por separado? En cualquier caso, ¿qué determina el enfoque analítico y de qué manera lo hace?
Los datos se analizan por separado. Posteriormente, los evaluadores cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado.
6. Durante la interpretación y notificación de los resultados. ¿Cómo se presentan, analizan y/o notifican los resultados?
Solamente hay un informe de evaluación. Los datos cuantitativos se presentan con una descripción y una explicación/confirmación/justificación de las conclusiones de la investigación cualitativa y las fuentes secundarias. En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta. Por ejemplo, supongamos que en un discusión por grupos especializados los agricultores indican que no pueden comprar fertilizantes porque son demasiado caros. La encuesta puede hacer la misma pregunta y determinar el porcentaje de agricultores que no pueden adquirir estos productos. Pero además puede identificar si este problema se da en todas las zonas geográficas. Las entrevistas cualitativas en profundidad pueden encontrar otras razones por las que los agricultores no pueden comprar fertilizantes.
El enfoque de métodos mixtos permite aprovechar los puntos fuertes de los métodos cualitativos y cuantitativos a la hora de recopilar y analizar información para responder a las preguntas de una investigación/evaluación.
Ejemplos de evaluaciones en las que se han utilizado métodos mixtos:
Evaluación de mitad de período de un proyecto de servicios a empresas de mijo (Millet Business Services Project)
Se realizaron cuatro encuestas:
Jackie (Jacqueline) Yiptong Avila
Program Evaluator/Survey Methodologist Independent ConsultantEstimado Jean,
En respuesta a tus comentarios a mi contribución a esta discusión[1], en primer lugar me gustaría dar las gracias a Malika Bounfour y Marlene Roefs por compartir dos documentos muy valiosos.
Por favor, consulten la definición de “diseño paralelo convergente” en la página 6 del documento Métodos mixtos en el seguimiento y evaluación de proyectos de desarrollo: aprender de la experiencia de los profesionales (en inglés). Éste es el enfoque al que me refiero cuando afirmo que “las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea”. En lo que respecta a la existencia de “UNA matriz de diseño de la evaluación”, esto se ajusta al denominado “diseño integrado”, descrito también en la página 6 del citado documento.
En cuanto a los métodos de muestreo, les invito a consultar este enlace de Statistics Canada. Durante más de 30 años he trabajado para esta agencia estadística nacional como experta en metodologías de encuestas.
En particular, para distinguir entre el muestreo probabilístico (utilizado en las encuestas cuantitativas) y el muestreo no probabilístico (utilizado en la recopilación de datos cualitativos; p. ej. muestreo intencional), por favor consulten la sección 3.2 sobre muestreo.
En el apartado 3.2.3 se explica por qué algunos profesionales están considerando la posibilidad de utilizar el muestreo intencional en encuestas cuantitativas. No suele ser la práctica habitual en las oficinas nacionales de estadística. También se explica por qué el muestreo no probabilístico debe utilizarse con especial precaución.
Espero que esto sea útil. En la página 13 del documento Métodos mixtos en el seguimiento y evaluación de proyectos de desarrollo: aprender de la experiencia de los profesionales (en inglés), compartido por Marlene, se afirma lo siguiente: “Combinar información de la investigación cuantitativa y cualitativa proporciona una visión más completa de la contribución de un programa a diversos tipos de cambio (social)”. Estoy completamente de acuerdo con esta afirmación.
Gracias por plantear este tema en EvalForward. Ha suscitado gran interés. Personalmente, estoy a favor del enfoque de métodos mixtos. De hecho, según mi experiencia, las conclusiones de una evaluación que utiliza esta metodología tienen mejor acogida entre los clientes. Y es que, cuando el proceso de comprobación muestra los mismos resultados de diferentes fuentes, rebatir las conclusiones resulta complicado.
Saludos cordiales,
Jackie
P. D. En mi primera contribución a esta discusión compartí este enlace, en el que encontrarán cientos de ejemplos de evaluaciones que han utilizado métodos mixtos.
[1] “Jackie: Muchas gracias por tu tiempo y tus perspicaces comentarios. En relación con nuestra práctica de la evaluación, ¿podrías explicar cómo “se puede responder [cualquier pregunta de evaluación] utilizando un enfoque de métodos mixtos”? En tu opinión, las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea. Y sostienes que hay UNA matriz de diseño de la evaluación. De ahí que ambos métodos intenten responder a la misma pregunta. En cuanto al muestreo, ¿podrías aclarar cómo has utilizado el muestreo probabilístico o no probabilístico? ¿O al menos describir cuál aplicaste, por qué y cómo? ¿Se podría aplicar el muestreo intencional a una evaluación cuantitativa?”