Estimado Jean,

Gracias por plantear este tema. También quiero agradecer a Renata Mirulla su buena labor administrando este foro. Aporto mi granito de arena a esta discusión tras haber utilizado métodos mixtos en la mayor parte —si no en la totalidad— de mi trabajo en el ámbito de la evaluación. De hecho, para evaluar proyectos financiados por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) y el Departamento de Agricultura de los Estados Unidos (USDA, por sus siglas en inglés) tuve que utilizar obligatoriamente métodos mixtos. En esta página web pueden encontrar los informes de evaluación desglosados por temas (véase la sección “EVALUATIONS IN THE DEC”).  https://dec.usaid.gov/dec/content/evaluations.aspx

A continuación, pueden encontrar mi respuesta a las preguntas formuladas por Jean. Al final pueden ver cómo he utilizado el enfoque de métodos mixtos en la evaluación de dos proyectos del programa Alimentos para el Progreso en Gambia y Senegal. No duden en ponerse en contacto conmigo si tienen cualquier pregunta.

Un cordial saludo,

Jackie

1. Durante la fase de diseño de la evaluación. ¿Qué tipo de preguntas de evaluación requieren (o requirieron) métodos mixtos? ¿Cuáles son las (des)ventajas de que no haya preguntas de evaluación cualitativas/cuantitativas independientes?

Cualquier pregunta de evaluación se puede responder utilizando un enfoque de métodos mixtos. Al elaborar la matriz o el marco de diseño de una evaluación, el evaluador identifica el informante(s) y el método de recopilación de datos que utilizará con el correspondiente método de análisis para cada pregunta de la evaluación. Por ejemplo, para una encuesta cuantitativa puede utilizar un método de análisis estadístico de datos como el análisis descriptivo o el análisis inferencial. En lo que respecta al método de investigación cualitativa, el evaluador se puede decantar por un análisis de contenido y un análisis temático.

2. A la hora de desarrollar instrumentos de recopilación de datos para evaluaciones que utilizan métodos mixtos. ¿Los instrumentos se desarrollan al mismo tiempo o uno después de otro? ¿Cómo interactúan entre ellos?

Al mismo tiempo, en paralelo. Hay UNA matriz de diseño de la evaluación que utiliza un enfoque de métodos mixtos, ya que se realiza UNA evaluación, no dos.  Ambos métodos intentarán dar respuesta a la misma pregunta. El evaluador puede utilizar un único método para obtener información para una pregunta concreta. Por ejemplo, puede recurrir al método cualitativo para las preguntas de evaluación relacionadas con la PERTINENCIA.

3. Durante el muestreo. ¿El muestreo se realiza de forma diferente o se utiliza el mismo marco de muestreo para cada aspecto metodológico? ¿Cómo y por qué?

Identificamos a los informadores y confeccionamos la lista para cada tipo.

La encuesta cuantitativa no abarca a todos los informadores objeto de la evaluación. Las encuestas se suelen realizar para poblaciones grandes (p. ej. beneficiarios de los programas). Se selecciona una muestra probabilística de la unidad de población. Es necesario un marco de muestreo. Es decir, la lista de la población encuestada (marco de la lista) o un marco del área, como en el caso de una encuesta por hogares. Cabe observar que la población no tiene que ser necesariamente un grupo de personas. Puede tratarse de escuelas o explotaciones agrícolas, por citar dos ejemplos.  En una evaluación se puede realizar más de una encuesta. En función de las actividades del programa, se podría llevar a cabo una encuesta por hogares, una encuesta a agricultores, una encuesta a proveedores internos y una encuesta de satisfacción de los beneficiarios con los servicios recibidos de una institución de préstamo o microfinanciación, por citar algunos ejemplos.  Todo depende de lo que queramos averiguar. Obsérvese que las encuestas cuantitativas proporcionan datos que pueden utilizarse para calcular indicadores de desempeño, así como para determinar características de la población objetivo y la prevalencia de una situación o comportamiento (p. ej. porcentaje de agricultores que no disponen de un determinado tipo de equipamiento; número de hogares en los que se ingieren menos de tres comidas diarias). Los datos se ponderan en función de la población de interés y se realizan estimaciones para toda la población o subconjuntos de ésta, como por ejemplo individuos del mismo género o grupo de edad (variables demográficas).

La recopilación de datos cualitativos se centra en las partes interesadas (p. ej. funcionarios del gobierno, oficiales de programas, proveedores) para entrevistas con informantes clave o semiestructuradas. Las discusiones por grupos especializados se llevan a cabo con una muestra de la población de interés o de las partes interesadas (p. ej. agricultores, oficiales de sanidad de la comunidad). En el caso de la investigación cualitativa, el muestreo intencional es la técnica utilizada para seleccionar un grupo específico de individuos o unidades para análisis. Los participantes se eligen “intencionadamente”, no al azar. También se denomina muestreo de juicio o muestreo selectivo. La información obtenida no se puede generalizar a toda la población. El objetivo principal del muestreo intencional es identificar los casos, individuos o comunidades más adecuados para ayudar a responder a las preguntas de la investigación o evaluación.

Cabe señalar que no existe un método correcto o comúnmente aceptado para calcular el tamaño de una muestra para el muestreo intencionado. Sin embargo, en las encuestas cuantitativas existen fórmulas para determinar el tamaño de la muestra con el nivel deseado de fiabilidad de las estimaciones.

4. Durante la recopilación de datos. ¿Cómo y por qué se recopilan los datos (de forma simultánea o secuencial)?

La información se recopila de forma simultánea, ya que hay un plazo y un único informe de evaluación que presentar.

La recopilación de datos cualitativos la suele llevar a cabo una sola persona (a mí me gusta tomar notas o grabar las entrevistas —con el permiso del informante— para garantizar la calidad). Las encuestas las realiza un equipo de encuestadores capacitados. Esto encarece bastante el proceso. Hoy en día, solemos utilizar tabletas —en lugar de cuestionarios en papel— para recopilar información. Antes de analizar los datos de las encuestas, es preciso editarlos (limpiarlos). En función del tipo de informante, las encuestas también se pueden realizar por teléfono o Internet, aunque el índice de respuesta es inferior al de las entrevistas presenciales.

5. Durante el análisis de datos. ¿Los datos se analizan de forma conjunta o por separado? En cualquier caso, ¿qué determina el enfoque analítico y de qué manera lo hace?

Los datos se analizan por separado.  Posteriormente, los evaluadores cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado.

6. Durante la interpretación y notificación de los resultados. ¿Cómo se presentan, analizan y/o notifican los resultados?

Solamente hay un informe de evaluación. Los datos cuantitativos se presentan con una descripción y una explicación/confirmación/justificación de las conclusiones de la investigación cualitativa y las fuentes secundarias. En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta. Por ejemplo, supongamos que en un discusión por grupos especializados los agricultores indican que no pueden comprar fertilizantes porque son demasiado caros. La encuesta puede hacer la misma pregunta y determinar el porcentaje de agricultores que no pueden adquirir estos productos. Pero además puede identificar si este problema se da en todas las zonas geográficas. Las entrevistas cualitativas en profundidad pueden encontrar otras razones por las que los agricultores no pueden comprar fertilizantes.

El enfoque de métodos mixtos permite aprovechar los puntos fuertes de los métodos cualitativos y cuantitativos a la hora de recopilar y analizar información para responder a las preguntas de una investigación/evaluación.

Ejemplos de evaluaciones en las que se han utilizado métodos mixtos: