Esta discusión es interesante e intrigante, especialmente dada la formación y experiencia multidisciplinar de los participantes.  Sin adelantarme a otras ideas y nuevas perspectivas que estén dispuestos a compartir, permítanme solicitar aclaraciones adicionales para nuestro aprendizaje compartido. Esta petición no se limita a quienes menciono, es una discusión abierta. Por favor, no duden tampoco en compartir enlaces a otras plataformas o redes.

Consideren estos puntos de vista antes de profundizar en otras cuestiones. Sigan leyendo, la guinda del pastel viene después:

“[Los métodos mixtos en la evaluación] obtienen buenos resultados cuando el proceso de integración está bien definido o cuando los métodos se aplican de forma secuencial (p. ej. estableciendo grupos de discusión para definir las preguntas de las encuestas, o seleccionando casos —sobre la base de las encuestas— para realizar entrevistas en profundidad)”. Cristian Maneiro.

“Cinco propósitos de las evaluaciones que utilizan métodos mixtos: comprobación, complementariedad, desarrollo, iniciación y expansión (también resumido en este artículo)”. Anne Kepple. Animo a todos los profesionales que utilizan métodos mixtos —y a todos los partidarios de este enfoque— a leer este artículo.

“Un buen fontanero utiliza herramientas diferentes según sea necesario y no se pregunta qué reparaciones requieren una única herramienta... Del mismo modo, un buen evaluador debe saber utilizar una amplia variedad de herramientas, no sólo una llave inglesa”. Olivier Cossée.

“La evaluación también analizó y explicó los resultados cuantitativos con información obtenida con métodos cualitativos. Esto no sólo permitió caracterizar la intervención, la política educativa y la financiación, sino que también dio lugar a recomendaciones más pertinentes en materia de políticas”. Maria Pia Cebrian.

Preguntas adicionales:

• Cristian: Gracias por compartir tu experiencia y preferencia por el diseño secuencial exploratorio, según el cual los métodos cualitativos preceden a los cuantitativos. Una pregunta: ¿qué ocurre si la evaluación con métodos mixtos comienza con una encuesta y termina con entrevistas cualitativas o discusiones por grupos (es decir, un diseño secuencial explicativo)? Por cierto, ¿alguien ha utilizado o tiene constancia de algún diseño secuencial explicativo? ¿Conocen alguna evaluación con métodos mixtos que se haya diseñado de esta forma?  Sigamos recopilando y compartiendo experiencias y recursos sobre el diseño de evaluaciones que utilizan métodos mixtos.

• Cristian también ha planteado una cuestión muy interesante que merece la pena tener en cuenta. Algunas publicaciones muestran que todos los datos no numéricos son cualitativos (p. ej. imágenes, mapas, vídeos, etc.). ¿Qué ocurre con este tipo de información? ¿Alguien ha combinado datos numéricos/cuantitativos con información pictórica, espacial o audiovisual? En caso afirmativo, agradecería que compartieran su experiencia. No duden en aportar ideas sobre cómo tratar estos datos no numéricos.

• Emilia: ¡Me has alegrado el día (bueno, mi vuelo)! Leí las contribuciones de los miembros de EvalForward mientras estaba en el avión. Muchas gracias Emilia. Has planteado una cuestión que me ha recordado que uno más uno no debería ser igual a dos cuando utilizamos métodos mixtos. Cuando empleamos este enfoque, debemos aprovechar todo su potencial. Uno más debería ser igual a tres. De lo contrario la pérdida es doble. Por un lado, lean este artículo, en el que se argumenta de forma convincente por qué uno más uno debería ser igual a tres cuando se utilizan métodos mixtos. La segunda pérdida es la del autor del artículo (Michael Fetters). Falleció hace unas semanas y estudiosos afines le rindieron homenaje. ¡Que su alma descanse en paz!

• Emilia: Me ha gustado leer tu contribución. En la bibliografía existente (recuérdame que la comparta en algún momento) se menciona que los métodos mixtos son una combinación de métodos cualitativos y cuantitativos. Cuando se utilizan métodos del mismo paradigma (p. ej. Cualitativos) se habla de multimétodos o enfoques múltiples.

• “Y yendo un poco más allá:  ¿no podríamos considerar también como “métodos mixtos” la combinación de enfoques “colonizadores” con enfoques “indígenas”?”. Ajá... en el próximo número del African Evaluation Journal, hay una sección especial sobre cómo abordar las asimetrías de conocimientos. Esta reflexión sobre la naturaleza de los métodos mixtos podría ser una cuestión muy interesante para examinar en el futuro. En la práctica, ¿conocen algún caso en el que se combinen metodologías occidentales (p. ej. encuestas) con métodos orales o pictóricos del sur global? Espero que puedan compartir información y experiencias sobre este asunto.

• Lal: Has dado en el clavo. ¿Podrías ilustrar con un ejemplo cómo se aplica el pensamiento compartimentado a la hora de realizar una evaluación que utiliza métodos mixtos?

• Margrieth: Bien dicho. Nuestra formación académica determina en gran medida qué métodos empleamos en el ejercicio de nuestra profesión. ¿Cómo corregimos esta predisposición? Cuando se usan métodos mixtos, es recomendable colaborar con otro investigador para que compruebe y enriquezca el enfoque adoptado. Por ejemplo, si soy un experto en números, lo ideal sería que trabajara con un investigador cualitativo (p. ej. un antropólogo) para complementarnos mutuamente, aunando nuestros puntos fuertes a fin de compensar cualquier carencia en nuestra formación académica o práctica profesional. ¿Cómo creen que un investigador/evaluador debería comprobar y complementar el enfoque adoptado? ¿Conocen algún ejemplo práctico? Por favor, compártanlo.

• Pia: Impresionante. ¡Varias fuentes de herramientas de recopilación de datos y análisis realizados! Gracias por compartir el artículo publicado. Es un buen ejemplo de lo selectivos/sesgados que pueden ser los investigadores/evaluadores en función de su formación académica, en consonancia con lo indicado por Margrieth en su contribución. Este artículo se centra exclusivamente en métodos cuantitativos, sin mencionar ningún método cualitativo (a no ser que me haya perdido algo cuando he ojeado el texto rápidamente). ¿Podrías consultar la publicación original en español y proporcionar información sobre cómo se utilizaron los datos de las entrevistas y las discusiones por grupos en la encuesta? Gracias de antemano.

• Margrieth dejó claro que la elección entre métodos cuantitativos, cualitativos o ambos viene determinada —en principio— por nuestra trayectoria profesional. Los evaluadores que han trabajado anteriormente en el mundo de la economía, la ingeniería u otras disciplinas similares suelen utilizar métodos cuantitativos. Por su parte, aquellos evaluadores que han trabajado en disciplinas artísticas o humanidades suelen usar métodos cualitativos. No puedo estar más de acuerdo. ¿Y los evaluadores con una formación académica científica cuya experiencia profesional les ha reorientado al empleo de métodos cualitativos (y viceversa)? Mi caso es un ejemplo de esta dicotomía, pero no estoy cerrado a ningún enfoque.  

• Olivier: Tu contribución describe muy bien un diseño secuencial exploratorio. ¿Qué ocurre cuando una evaluación comienza con métodos cuantitativos y, una vez obtenidos los resultados, hay hallazgos contradictorios que necesitamos comprender y explicar? ¿Conocen algún caso de una evaluación en la que los métodos cuantitativos hayan PRECEDIDO a los cualitativos (es decir, un diseño secuencial explicativo)? ¡Muy atinado, Olivier! A diferencia de las ciencias naturales, no tenemos un laboratorio para seres sociales.

¡Espero que todos sigamos aprendiendo con esta discusión!