Estimados colegas,

Muchas gracias por hacer un esfuerzo adicional para aportar nuevas perspectivas a esta discusión. Éstas incluyen diseños de métodos mixtos secuenciales, simultáneos y paralelos. En algunos casos, los datos se analizan por separado, mientras que en otros se utilizan análisis de un método para corroborar tendencias o resultados derivados de otro.

Algunas de las contribuciones más recientes reflejan estas ideas fundamentales:

“Los evaluadores [...] cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado. [...] En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta”. Jackie.

 “Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos. Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea”. Gordon.

Lal:

Gracias por hacer referencia a dos proyectos: uno sobre “un puente de 1 000 millones de USD para unir una isla con tierra firme en un próspero país del norte de Europa” y otro sobre “una autopista multimillonaria en un país africano”. Se trata de un ejemplo excelente de lo que puede suceder cuando un proyecto se diseña de forma deficiente y se evalúa de forma inadecuada. ¿Puedes compartir algún informe/referencia de estos dos proyectos? Este ejemplo constituye una buena fuente de inspiración para enriquecer nuestra discusión y, lo que es más importante, para mejorar nuestra práctica profesional de la evaluación utilizando métodos mixtos. Me encanta esta reflexión: “el enfoque reduccionista contrapuso la calidad y la cantidad a los objetivos de ambos proyectos”. En este sentido, tu resumen me parece muy acertado: “los suministros alimentarios de emergencia a una zona de desastre no pueden cumplir razonablemente los mismos estándares en materia de calidad o cantidad, y deberían ajustarse para que el abastecimiento fuera adecuado en esas circunstancias”.

Olivier:
Argumentas —acertadamente— que los diseños exploratorios secuenciales son apropiados: “No se puede medir aquello que no se ha concebido adecuadamente. Por tanto, antes de intentar medir algo, siempre es necesaria una exploración cualitativa”. Pero también reconoces que: “hay cabida para enfoques cualitativos tras un esfuerzo de cuantificación”, Tienes razón. En algunos casos, una encuesta puede obtener resultados aparentemente chocantes. Una forma de darles sentido es profundizar en esa cuestión concreta por medio de algunas entrevistas cualitativas adicionales.

Gordon:

Mea culpa. Debería haber especificado que la discusión versa sobre la evaluación de programas, proyectos o cualquier intervención humanitaria o de desarrollo. Haces hincapié —con acierto— en la complejidad que subyace en los programas: “ Los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos”. Uno de los argumentos que has esgrimido parece contradictorio: “cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!” Para dar contexto a este punto de vista y ayudar a los miembros de EvalForward a comprenderlo, quizás podrías proporcionar más detalles. Asimismo, ¿quién debería decidir qué métodos utilizar? ¿El evaluador o el equipo del programa?

Aunque me gustaría pedir a todos los colegas que leyeran todas las contribuciones, la de Jackie es diferente, repleta de consejos prácticos utilizados en los métodos mixtos.

Jackie:

Muchas gracias por tu tiempo y tus perspicaces comentarios. En relación con nuestra práctica de la evaluación, ¿podrías explicar cómo “se puede responder [cualquier pregunta de evaluación] utilizando un enfoque de métodos mixtos”? En tu opinión, las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea. Y sostienes que hay UNA matriz de diseño de la evaluación. De ahí que ambos métodos intenten responder a la misma pregunta. En cuanto al muestreo, ¿podrías aclarar cómo has utilizado el muestreo probabilístico o no probabilístico? ¿O al menos describir cuál aplicaste, por qué y cómo? ¿Se podría aplicar el muestreo intencional a una evaluación cuantitativa?

Salvo algunos casos, la mayoría de las contribuciones recibidas son más teóricas/hipotéticas que prácticas/experiencias vividas. Creo que sería de gran ayuda conocer consejos prácticos, incluidos informes de evaluación o publicaciones que hayan utilizado métodos mixtos. Por favor, compartan ejemplos prácticos y referencias de métodos mixtos sobre las siguientes cuestiones:

• Etapa de diseño de la evaluación
• Instrumentos de recopilación de datos
• Muestreo
• Recopilación de datos
• Análisis de datos
• Interpretación, presentación y difusión de resultados

Espero que sigamos compartiendo diferentes ejemplos, referencias y puntos de vista sobre el tema de esta discusión.