¿Cómo se utilizan los métodos mixtos en la evaluación de programas?

Estimados evaluadores, estimados colegas:

He seguido con gran interés esta discusión y todas vuestras contribuciones. Como consultor de desarrollo internacional, llevo varios años utilizando los métodos mixtos en mi trabajo.

Según mi experiencia, aplicar esta metodología en la práctica resulta más complicado que hacerlo sobre el papel. La dificultad principal reside en la discrepancia entre las expectativas y/o conocimientos de los métodos mixtos de quienes encargan las evaluaciones y quienes se ocupan de llevarlas a cabo.  Como consultor, elaboro con frecuencia propuestas técnicas o manifestaciones de interés para licitaciones de evaluaciones.  Para ello, cada día examino varios términos de referencia de diferentes evaluaciones: al menos cuatro de cada cinco sugieren o exigen —de forma específica— usar métodos mixtos. Sin embargo, en la mayoría de los casos no suele haber tiempo ni presupuesto suficientes para satisfacer las necesidades mínimas de un enfoque lógico adecuado para esta metodología.

Para que una evaluación sea útil, es necesario un equilibrio adecuado entre evidencias cuantitativas y cualitativas complementarias. Por lo tanto, con independencia de que el proyecto o quien encarga la evaluación pida específicamente usar métodos mixtos, habitualmente es difícil responder las preguntas estándar de forma adecuada sin tener en cuenta datos cuantitativos y cualitativos. Esto significa que un evaluador solamente tiene dos opciones: (1) ajustarse a las limitaciones de tiempo y presupuesto, con la posible merma de calidad de los resultados de la evaluación y repercusión en su integridad profesional; o (2) asumir el coste adicional y dedicar más tiempo y presupuesto en aras de una mayor calidad.

Por último, creo que la demanda de métodos mixtos o las expectativas en las evaluaciones de programas perdurarán. Sin embargo, al sector del desarrollo le queda aún mucho camino por recorrer para darse cuenta de la necesidad de alinear dichas expectativas con los elementos de apoyo requeridos para materializarlas, en particular tiempo y dinero.

Joseph Toindepi

Estimados evaluadores, estimados colegas:

¡Muchas gracias a quienes han participado activamente en esta discusión —respondiendo a mis preguntas y comentarios complementarios— y han leído las contribuciones con el fin de aprender!

La discusión ha sido enriquecedora y esclarecedora. Ha puesto de relieve los motivos principales para utilizar los métodos mixtos, así como algunos desafíos y deficiencias persistentes en la aplicación práctica de esta metodología.

En resumidas cuentas: los métodos mixtos han llegado para quedarse. Sin embargo, existen herramientas innovadoras y revolucionarias —como los macrodatos, la inteligencia artificial y el aprendizaje automático— que han empezado a determinar la forma de recopilar, procesar y mostrar la información. Por otro lado, hay carencias metodológicas que subsanar. Como evaluadores, debemos velar por que los métodos mixtos no se limiten a una mención en los términos de referencia y un seguimiento superficial, sino que se utilicen de forma adecuada en la teoría y en la práctica.

Próximamente compartiré un resumen de la discusión con algunas reflexiones metodológicas personales. ¡Estén atentos!

JP

Estimado Jean,

En respuesta a tus comentarios a mi contribución a esta discusión[1], en primer lugar me gustaría dar las gracias a Malika Bounfour y Marlene Roefs por compartir dos documentos muy valiosos.

Por favor, consulten la definición de “diseño paralelo convergente” en la página 6 del documento Métodos mixtos en el seguimiento y evaluación de proyectos de desarrollo: aprender de la experiencia de los profesionales (en inglés). Éste es el enfoque al que me refiero cuando afirmo que “las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea”. En lo que respecta a la existencia de “UNA matriz de diseño de la evaluación”, esto se ajusta al denominado “diseño integrado”, descrito también en la página 6 del citado documento.

En cuanto a los métodos de muestreo, les invito a consultar este enlace de Statistics Canada. Durante más de 30 años he trabajado para esta agencia estadística nacional como experta en metodologías de encuestas.

En particular, para distinguir entre el muestreo probabilístico (utilizado en las encuestas cuantitativas) y el muestreo no probabilístico (utilizado en la recopilación de datos cualitativos; p. ej. muestreo intencional), por favor consulten la sección 3.2 sobre muestreo.

En el apartado 3.2.3 se explica por qué algunos profesionales están considerando la posibilidad de utilizar el muestreo intencional en encuestas cuantitativas. No suele ser la práctica habitual en las oficinas nacionales de estadística. También se explica por qué el muestreo no probabilístico debe utilizarse con especial precaución.

Espero que esto sea útil. En la página 13 del documento Métodos mixtos en el seguimiento y evaluación de proyectos de desarrollo: aprender de la experiencia de los profesionales (en inglés), compartido por Marlene, se afirma lo siguiente: “Combinar información de la investigación cuantitativa y cualitativa proporciona una visión más completa de la contribución de un programa a diversos tipos de cambio (social)”. Estoy completamente de acuerdo con esta afirmación.

Gracias por plantear este tema en EvalForward. Ha suscitado gran interés. Personalmente, estoy a favor del enfoque de métodos mixtos. De hecho, según mi experiencia, las conclusiones de una evaluación que utiliza esta metodología tienen mejor acogida entre los clientes. Y es que, cuando el proceso de comprobación muestra los mismos resultados de diferentes fuentes, rebatir las conclusiones resulta complicado.

Saludos cordiales,

Jackie

P. D. En mi primera contribución a esta discusión compartí este enlace, en el que encontrarán cientos de ejemplos de evaluaciones que han utilizado métodos mixtos.

Hola Jean Providence, reflexionando sobre tus interesantes comentarios considero que aun tenemos un gran reto en el proceso de la triangulación “disciplinaria” de forma específica, y no limitarse solo a la triangulación de los datos en función de su origen. O sea, los procesos de triangulación como lo indican Okuda y Gómez, y SAMAJA,  bien pueden referirse al uso de varios métodos (tanto cuantitativos como cualitativos), de fuentes de datos, de teorías, de investigadores o de ambientes en el estudio de un fenómeno. Considero que la mayoría de casos se refiere más a la triangulación de datos como en el caso de esta evaluación del programa “juventud vasca cooperante” de 2018, pero me queda la tarea de indagar más sobre la puesta en práctica de una triangulación más interdisciplinaria.

Estimado Jean, estimados colegas,

Gracias por aclarar que la discusión no se limita a programas, sino que también incluye proyectos o cualquier intervención humanitaria o de desarrollo. Está siendo muy instructiva y enriquecedora. ¡Y estoy aprendiendo mucho!

Cuando sostengo que, en el contexto de una evaluación, “cuando algo es demasiado complicado o complejo, la simplicidad es la mejor estrategia”, quiero decir que no es necesario utilizar varias metodologías y fuentes de datos para tener en cuenta la complejidad.  Los datos cuantitativos y cualitativos se pueden centrar en los objetivos y las preguntas de la evaluación. Por ejemplo, utilizar enfoques de evaluación que tienen en cuenta la complejidad —como la recolección de resultados, el seguimiento de procesos, el análisis de contribuciones, el análisis de redes sociales, etc.— no implica necesariamente que haya que emplear varios métodos de recopilación de datos cuantitativos y cualitativos. Por ejemplo, en la recolección de resultados, se puede recurrir a la revisión de documentos y las entrevistas a informadores clave para elaborar descriptores de resultados. Y, posteriormente, durante la fundamentación, realizar una encuesta y entrevistar a informadores clave. He utilizado análisis de redes sociales y entrevistas a informadores clave para evaluar el cambio en las relaciones entre agentes de un sistema de mercado.  Asimismo, he realizado análisis de redes sociales y entrevistas en profundidad en un estudio de impacto social de un programa de desarrollo de la iniciativa empresarial para jóvenes rurales. En esencia, basta con utilizar tres métodos de recopilación de datos (el concepto del taburete de tres patas o del triángulo) para alcanzar los objetivos de evaluación con información concreta y precisa. Mucho se ha escrito sobre cómo superar la complejidad con simplicidad en diferentes esferas de la vida, la gestión, el liderazgo, etc.

En relación con la pregunta sobre quién decide la metodología, un plan de seguimiento, evaluación y aprendizaje es muy claro en lo que respecta a las mediciones y los métodos de evaluación, al menos según mi experiencia. Este tipo de planes son elaborados por el equipo del programa. Se pide a los evaluadores que propongan una metodología de evaluación en las propuestas técnicas con un doble propósito: valorar su competencia técnica e identificar la que mejor se ajusta al plan de evaluación. Por lo general, el evaluador y el equipo del programa se ponen de acuerdo sobre la metodología más adecuada durante la fase inicial de la evaluación. Esto forma parte del informe inicial que normalmente suscribe el equipo del programa.

Mi punto de vista sobre estas cuestiones.

Gordon

Gracias por plantear este tema de discusión, ya que la metodología suele determinar la calidad del informe de evaluación.

A continuación, comparto algunos de mis puntos vista sobre los métodos mixtos por medio de diferentes ejemplos:

1. Cuando se quiere medir la equidad y la igualdad, deben prevalecer los métodos cuantitativos, apoyados en métodos cualitativos para conocer las causas. Por ejemplo: qué porcentaje de la financiación se destina a cuestiones de género; cuántas niñas van a la escuela... cuántos kilómetros de carreteras rurales hay… seguido de un análisis de las políticas.
2. Para medir el impacto de una intervención es necesario cuantificarlo y determinar los comportamientos que lo han intensificado/mermado.

2. A la hora de desarrollar instrumentos de recopilación de datos para evaluaciones que utilizan métodos mixtos. ¿Los instrumentos se desarrollan al mismo tiempo o uno después de otro? ¿Cómo interactúan entre ellos?

Lo ideal es tener todos los instrumentos preparados de antemano. Sin embargo, algunas herramientas cualitativas se pueden “mejorar”. Por ejemplo, en las entrevistas a informadores clave o en los grupos de discusión, las preguntas abiertas contribuyen a mejorar la recopilación de datos cualitativos cuando se obtienen/observan resultados inesperados.

Comparto una publicación del Banco Mundial que describe situaciones en las que se utilizan métodos cuantitativos y cualitativos. Aunque se circunscribe a las evaluaciones de impacto, me parece útil para la mayoría de estudios/investigaciones.

La evaluación de impacto en la práctica

Un cordial saludo,

Malika

Jean, me encanta esta discusión. También he observado que los métodos mixtos (incluidos los métodos cuantitativos y cualitativos) se utilizan de forma independiente (no “mixta”) para el análisis y los resultados. Éstos se presentan como dos conjuntos separados, sin una síntesis significativa de los datos. Creo que los métodos mixtos son uno de los temas de la evaluación (y de la investigación) que menos se entienden.

[contribución publicada originalmente en Linkedin]

Estimados colegas,

Muchas gracias por hacer un esfuerzo adicional para aportar nuevas perspectivas a esta discusión. Éstas incluyen diseños de métodos mixtos secuenciales, simultáneos y paralelos. En algunos casos, los datos se analizan por separado, mientras que en otros se utilizan análisis de un método para corroborar tendencias o resultados derivados de otro.

Algunas de las contribuciones más recientes reflejan estas ideas fundamentales:

“Los evaluadores [...] cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado. [...] En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta”. Jackie.

 “Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos. Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea”. Gordon.

Lal:

Gracias por hacer referencia a dos proyectos: uno sobre “un puente de 1 000 millones de USD para unir una isla con tierra firme en un próspero país del norte de Europa” y otro sobre “una autopista multimillonaria en un país africano”. Se trata de un ejemplo excelente de lo que puede suceder cuando un proyecto se diseña de forma deficiente y se evalúa de forma inadecuada. ¿Puedes compartir algún informe/referencia de estos dos proyectos? Este ejemplo constituye una buena fuente de inspiración para enriquecer nuestra discusión y, lo que es más importante, para mejorar nuestra práctica profesional de la evaluación utilizando métodos mixtos. Me encanta esta reflexión: “el enfoque reduccionista contrapuso la calidad y la cantidad a los objetivos de ambos proyectos”. En este sentido, tu resumen me parece muy acertado: “los suministros alimentarios de emergencia a una zona de desastre no pueden cumplir razonablemente los mismos estándares en materia de calidad o cantidad, y deberían ajustarse para que el abastecimiento fuera adecuado en esas circunstancias”.

Olivier:
Argumentas —acertadamente— que los diseños exploratorios secuenciales son apropiados: “No se puede medir aquello que no se ha concebido adecuadamente. Por tanto, antes de intentar medir algo, siempre es necesaria una exploración cualitativa”. Pero también reconoces que: “hay cabida para enfoques cualitativos tras un esfuerzo de cuantificación”, Tienes razón. En algunos casos, una encuesta puede obtener resultados aparentemente chocantes. Una forma de darles sentido es profundizar en esa cuestión concreta por medio de algunas entrevistas cualitativas adicionales.

Gordon:

Mea culpa. Debería haber especificado que la discusión versa sobre la evaluación de programas, proyectos o cualquier intervención humanitaria o de desarrollo. Haces hincapié —con acierto— en la complejidad que subyace en los programas: “ Los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos”. Uno de los argumentos que has esgrimido parece contradictorio: “cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!” Para dar contexto a este punto de vista y ayudar a los miembros de EvalForward a comprenderlo, quizás podrías proporcionar más detalles. Asimismo, ¿quién debería decidir qué métodos utilizar? ¿El evaluador o el equipo del programa?

Aunque me gustaría pedir a todos los colegas que leyeran todas las contribuciones, la de Jackie es diferente, repleta de consejos prácticos utilizados en los métodos mixtos.

Jackie:

Muchas gracias por tu tiempo y tus perspicaces comentarios. En relación con nuestra práctica de la evaluación, ¿podrías explicar cómo “se puede responder [cualquier pregunta de evaluación] utilizando un enfoque de métodos mixtos”? En tu opinión, las herramientas de recopilación de datos se desarrollan en paralelo, o de forma simultánea. Y sostienes que hay UNA matriz de diseño de la evaluación. De ahí que ambos métodos intenten responder a la misma pregunta. En cuanto al muestreo, ¿podrías aclarar cómo has utilizado el muestreo probabilístico o no probabilístico? ¿O al menos describir cuál aplicaste, por qué y cómo? ¿Se podría aplicar el muestreo intencional a una evaluación cuantitativa?

Salvo algunos casos, la mayoría de las contribuciones recibidas son más teóricas/hipotéticas que prácticas/experiencias vividas. Creo que sería de gran ayuda conocer consejos prácticos, incluidos informes de evaluación o publicaciones que hayan utilizado métodos mixtos. Por favor, compartan ejemplos prácticos y referencias de métodos mixtos sobre las siguientes cuestiones:

• Etapa de diseño de la evaluación
• Instrumentos de recopilación de datos
• Muestreo
• Recopilación de datos
• Análisis de datos
• Interpretación, presentación y difusión de resultados

Espero que sigamos compartiendo diferentes ejemplos, referencias y puntos de vista sobre el tema de esta discusión.

Gracias a todos por vuestras contribuciones. ¡Interesante discusión! Hace tiempo, en colaboración con Oxfam, examinamos cómo utilizábamos los métodos mixtos y extrajimos algunas conclusiones muy útiles. Quienes estén interesados pueden consultar el siguiente documento:

Métodos mixtos en el seguimiento y evaluación de proyectos de desarrollo: aprender de la experiencia de los profesionales (en inglés)

Estimado Jean,

Gracias por plantear este tema. También quiero agradecer a Renata Mirulla su buena labor administrando este foro. Aporto mi granito de arena a esta discusión tras haber utilizado métodos mixtos en la mayor parte —si no en la totalidad— de mi trabajo en el ámbito de la evaluación. De hecho, para evaluar proyectos financiados por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) y el Departamento de Agricultura de los Estados Unidos (USDA, por sus siglas en inglés) tuve que utilizar obligatoriamente métodos mixtos. En esta página web pueden encontrar los informes de evaluación desglosados por temas (véase la sección “EVALUATIONS IN THE DEC”).  https://dec.usaid.gov/dec/content/evaluations.aspx

A continuación, pueden encontrar mi respuesta a las preguntas formuladas por Jean. Al final pueden ver cómo he utilizado el enfoque de métodos mixtos en la evaluación de dos proyectos del programa Alimentos para el Progreso en Gambia y Senegal. No duden en ponerse en contacto conmigo si tienen cualquier pregunta.

Un cordial saludo,

Jackie

1. Durante la fase de diseño de la evaluación. ¿Qué tipo de preguntas de evaluación requieren (o requirieron) métodos mixtos? ¿Cuáles son las (des)ventajas de que no haya preguntas de evaluación cualitativas/cuantitativas independientes?

Cualquier pregunta de evaluación se puede responder utilizando un enfoque de métodos mixtos. Al elaborar la matriz o el marco de diseño de una evaluación, el evaluador identifica el informante(s) y el método de recopilación de datos que utilizará con el correspondiente método de análisis para cada pregunta de la evaluación. Por ejemplo, para una encuesta cuantitativa puede utilizar un método de análisis estadístico de datos como el análisis descriptivo o el análisis inferencial. En lo que respecta al método de investigación cualitativa, el evaluador se puede decantar por un análisis de contenido y un análisis temático.

2. A la hora de desarrollar instrumentos de recopilación de datos para evaluaciones que utilizan métodos mixtos. ¿Los instrumentos se desarrollan al mismo tiempo o uno después de otro? ¿Cómo interactúan entre ellos?

Al mismo tiempo, en paralelo. Hay UNA matriz de diseño de la evaluación que utiliza un enfoque de métodos mixtos, ya que se realiza UNA evaluación, no dos.  Ambos métodos intentarán dar respuesta a la misma pregunta. El evaluador puede utilizar un único método para obtener información para una pregunta concreta. Por ejemplo, puede recurrir al método cualitativo para las preguntas de evaluación relacionadas con la PERTINENCIA.

3. Durante el muestreo. ¿El muestreo se realiza de forma diferente o se utiliza el mismo marco de muestreo para cada aspecto metodológico? ¿Cómo y por qué?

Identificamos a los informadores y confeccionamos la lista para cada tipo.

La encuesta cuantitativa no abarca a todos los informadores objeto de la evaluación. Las encuestas se suelen realizar para poblaciones grandes (p. ej. beneficiarios de los programas). Se selecciona una muestra probabilística de la unidad de población. Es necesario un marco de muestreo. Es decir, la lista de la población encuestada (marco de la lista) o un marco del área, como en el caso de una encuesta por hogares. Cabe observar que la población no tiene que ser necesariamente un grupo de personas. Puede tratarse de escuelas o explotaciones agrícolas, por citar dos ejemplos.  En una evaluación se puede realizar más de una encuesta. En función de las actividades del programa, se podría llevar a cabo una encuesta por hogares, una encuesta a agricultores, una encuesta a proveedores internos y una encuesta de satisfacción de los beneficiarios con los servicios recibidos de una institución de préstamo o microfinanciación, por citar algunos ejemplos.  Todo depende de lo que queramos averiguar. Obsérvese que las encuestas cuantitativas proporcionan datos que pueden utilizarse para calcular indicadores de desempeño, así como para determinar características de la población objetivo y la prevalencia de una situación o comportamiento (p. ej. porcentaje de agricultores que no disponen de un determinado tipo de equipamiento; número de hogares en los que se ingieren menos de tres comidas diarias). Los datos se ponderan en función de la población de interés y se realizan estimaciones para toda la población o subconjuntos de ésta, como por ejemplo individuos del mismo género o grupo de edad (variables demográficas).

La recopilación de datos cualitativos se centra en las partes interesadas (p. ej. funcionarios del gobierno, oficiales de programas, proveedores) para entrevistas con informantes clave o semiestructuradas. Las discusiones por grupos especializados se llevan a cabo con una muestra de la población de interés o de las partes interesadas (p. ej. agricultores, oficiales de sanidad de la comunidad). En el caso de la investigación cualitativa, el muestreo intencional es la técnica utilizada para seleccionar un grupo específico de individuos o unidades para análisis. Los participantes se eligen “intencionadamente”, no al azar. También se denomina muestreo de juicio o muestreo selectivo. La información obtenida no se puede generalizar a toda la población. El objetivo principal del muestreo intencional es identificar los casos, individuos o comunidades más adecuados para ayudar a responder a las preguntas de la investigación o evaluación.

Cabe señalar que no existe un método correcto o comúnmente aceptado para calcular el tamaño de una muestra para el muestreo intencionado. Sin embargo, en las encuestas cuantitativas existen fórmulas para determinar el tamaño de la muestra con el nivel deseado de fiabilidad de las estimaciones.

4. Durante la recopilación de datos. ¿Cómo y por qué se recopilan los datos (de forma simultánea o secuencial)?

La información se recopila de forma simultánea, ya que hay un plazo y un único informe de evaluación que presentar.

La recopilación de datos cualitativos la suele llevar a cabo una sola persona (a mí me gusta tomar notas o grabar las entrevistas —con el permiso del informante— para garantizar la calidad). Las encuestas las realiza un equipo de encuestadores capacitados. Esto encarece bastante el proceso. Hoy en día, solemos utilizar tabletas —en lugar de cuestionarios en papel— para recopilar información. Antes de analizar los datos de las encuestas, es preciso editarlos (limpiarlos). En función del tipo de informante, las encuestas también se pueden realizar por teléfono o Internet, aunque el índice de respuesta es inferior al de las entrevistas presenciales.

5. Durante el análisis de datos. ¿Los datos se analizan de forma conjunta o por separado? En cualquier caso, ¿qué determina el enfoque analítico y de qué manera lo hace?

Los datos se analizan por separado.  Posteriormente, los evaluadores cotejan los datos de la encuesta con las conclusiones de la investigación cualitativa y la revisión de documentos o cualquier otro método empleado.

6. Durante la interpretación y notificación de los resultados. ¿Cómo se presentan, analizan y/o notifican los resultados?

Solamente hay un informe de evaluación. Los datos cuantitativos se presentan con una descripción y una explicación/confirmación/justificación de las conclusiones de la investigación cualitativa y las fuentes secundarias. En ocasiones, una conclusión de la investigación cualitativa se presenta con datos cuantitativos de la encuesta. Por ejemplo, supongamos que en un discusión por grupos especializados los agricultores indican que no pueden comprar fertilizantes porque son demasiado caros. La encuesta puede hacer la misma pregunta y determinar el porcentaje de agricultores que no pueden adquirir estos productos. Pero además puede identificar si este problema se da en todas las zonas geográficas. Las entrevistas cualitativas en profundidad pueden encontrar otras razones por las que los agricultores no pueden comprar fertilizantes.

El enfoque de métodos mixtos permite aprovechar los puntos fuertes de los métodos cualitativos y cuantitativos a la hora de recopilar y analizar información para responder a las preguntas de una investigación/evaluación.

Ejemplos de evaluaciones en las que se han utilizado métodos mixtos:

¡Muy buena pregunta de Jean! ¡Y contribuciones muy perspicaces!

En primer lugar, creo que la pregunta de esta discusión es muy concreta: ¿cómo se utilizan los métodos mixtos en la evaluación de PROGRAMAS? ¿Verdad? Sabemos que un programa consta de dos o más proyectos. Es decir, se trata de un conjunto de proyectos. Por tanto, los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos. Según el diccionario Oxford de la lengua inglesa, un método es un procedimiento particular para realizar o abordar algo.  En los procedimientos se utilizan herramientas. Soy de los que creen que, cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!

En función del contexto, el diseño y el plan de evaluación del programa, y los objetivos y las preguntas de la evaluación, el evaluador y el equipo del programa pueden acordar el mejor método —o métodos— que contribuya a alcanzar los objetivos de la evaluación y dé respuesta detallada a las preguntas de ésta. Me gusta el enfoque que se adopta en los hospitales. A excepción de algunas situaciones de emergencia, a los pacientes se les realiza un triaje, una evaluación clínica y una revisión de sus antecedentes médicos, un análisis de laboratorio, unas pruebas radiológicas, etc. El médico analiza y utiliza estas fuentes de información para hacer un diagnóstico, dar un pronóstico y establecer un tratamiento. En función de las circunstancias y los recursos, se decide si todas estas fuentes de información son esenciales o no.

Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos.  Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea.

En cualquier caso, puede que se haya realizado una evaluación exhaustiva de determinados proyectos de un programa y se haya documentado su contribución a los objetivos de éste. En tal caso, a nivel de programa bastaría con realizar algo sencillo como un examen o revisión.

Cuando algo sea complicado o complejo, simplifiquen y limítense a unos pocos datos.

Mi punto de vista.

Muchas gracias.

Gordon

A continuación, doy respuesta a la siguiente pregunta, formulada por Jean Providence: ¿Conocen algún caso de una evaluación en la que los métodos cuantitativos hayan PRECEDIDO a los cualitativos? 

1) No se puede medir aquello que no se ha concebido adecuadamente. Por tanto, antes de intentar medir algo, siempre es necesaria una exploración cualitativa. Si mi mujer va a una tienda de muebles y me manda el siguiente mensaje: “Cariño, he encontrado este artículo maravilloso para la cocina. Cuesta 500 euros y mide 2 metros de largo por 1,5 metros de ancho. ¿Te parece bien?” No sabría qué contestarla, porque, aunque especifica el precio y las dimensiones del artículo, no sé a qué se refiere, en términos cualitativos. ¿Se trata de una mesa, de un armario o de una alfombra? No tiene sentido cuantificar algo sin haberlo caracterizado antes.

2) Dicho esto, también hay cabida para enfoques cualitativos tras un esfuerzo de cuantificación. Jean, tienes razón en esto. En algunos casos, una encuesta puede obtener resultados aparentemente chocantes. Una forma de darles sentido es profundizar en esa cuestión concreta por medio de algunas entrevistas cualitativas adicionales. 

Espero que esto tenga sentido.

Saludos.

Debería haber dicho "actuar en silos", ya que pensar es una acción. Bueno, es una frase que alguien inventó durante los debates que condujeron a la determinación del actual conjunto de ODS. Al fin y al cabo, no es más que otra frase para describir el pensamiento y la acción reductivistas, igual que llamar a una pala una herramienta de atrincheramiento en el campo (ejército estadounidense).

Antes de continuar, permítanme recapitular mi punto de partida:

Una buena evaluación de un resultado propuesto o logrado de un proyecto o plan consiste en determinar si es adecuado para cumplir el objetivo previsto en las circunstancias en que se lleva a cabo.

Obviamente, las palabras clave son "adecuación" y "circunstancias en las que se lleva a cabo". Así pues, debemos tener en cuenta tres elementos: uno fijo, es decir, una finalidad prevista o un objetivo que, sin embargo, puede alcanzarse o no en función de las circunstancias. Permítanme ilustrar esto con la ayuda de dos ejemplos que aparecieron en este foro hace un tiempo.  Uno se refiere a un puente de mil millones de dólares para unir una isla con el continente en un país próspero del norte de Europa, mientras que el segundo es una autopista multimillonaria en un país africano.

Ambas eran muy adecuadas cualitativa y cuantitativamente; su calidad técnica era excelente y su capacidad, grande. En ambos casos, se ignoraron totalmente algunas circunstancias críticas que condujeron a su fracaso con respecto a los objetivos previstos. En este caso, el enfoque reductor hizo que la calidad y la cantidad fueran en contra de los objetivos del proyecto.

Lo que ocurrió fue lo siguiente: ese puente debía permitir a los residentes de la isla ir en coche a trabajar a una ciudad del continente con cualquier tiempo, lo que sería más fácil que utilizar el transbordador para hacerlo, como venían haciendo. Se esperaba que los peajes de este trayecto cubrieran los gastos de construcción y funcionamiento del puente.

Pero en cuanto se terminó, los isleños utilizaron el puente para salir de la isla y establecerse cerca de su lugar de trabajo, ¡y utilizando sus antiguas viviendas como casas de veraneo! Así pues, no hace falta decir nada más sobre la importancia de la calidad y la cantidad, ya que los planificadores no tuvieron en cuenta la posibilidad de que los isleños se marcharan. Se vieron obligados a quedarse, porque el transbordador no es un medio cómodo para cambiar de casa.

En el caso de la autopista, el propósito era iniciar un crecimiento económico en los pueblos por los que pasaba. Se creía que ayudaría a los aldeanos a trasladar sus productos a mejores mercados y a los inversores a entrar en ellos.

Pero los planificadores no se dieron cuenta de que los aldeanos no disponían ni siquiera de un mínimo de transporte motorizado y que la pobreza de la zona seguía siendo la misma, mientras que una cabra ocasional disfrutaba de un paseo tranquilo por una autopista moderna.

Así pues, la adecuación de un resultado tiene un componente cualitativo y otro cuantitativo que se rigen por las circunstancias pertinentes en las que se lleva a cabo un proyecto o un plan. En mi nota anterior, señalaba que el suministro de alimentos de emergencia a una zona catastrófica no puede cumplir razonablemente las mismas normas de calidad o cantidad, y habría que ajustarlo para que el suministro fuera adecuado en esas circunstancias 

Espero que esto aclare un poco mis puntos de vista.

I would like to thank and appreciate all the contributors to the ongoing discussion, which I find it very interesting, awareness raising and inducing rethinking of evaluation methodologies. The discussion has surfaced experiences of different intellectuals with basic research and applied research background and of development professionals.  The various experiences, I believe have deepened and widen the understanding with regard to “how mixed methods are used in programme evaluations”.

I am development professional in the area of agriculture (livestock and fisheries and natural resource management). From my experience the “how mixed methods are used in development/program evaluations” often depends  on the type of data/information to be evaluated. Thus, depending the nature of the development program/project to be evaluated, the required data could be for example, quantitative and qualitative data.  As we are all aware quantitative data are information that can be quantified, counted or measured, and given a numerical value. While qualitative data is descriptive in nature, expressed in terms of language rather than numerical values.

I would also like to relate this to “Logical Frame work Approach of project planning”(project which will be later evaluated during implementation). To my understanding most development programs have “Logframe” which clearly shows: program/project goals; outcomes; outputs; activities along with narrative summaries; objectively verifiable indicators; means of verification and assumptions.  Thus during evaluation, the program/project will be evaluated based to what is put in the logeframe , which would require mixed evaluation methods depending the nature of the program/project. For example, among others use of qualitative and qualitative method can help to conduct successful evaluation. Using both qualitative and qualitative methods will strengthen the evaluation.  Apart from quantitative method, qualitative methods, to mention few such as focused group discussions; in-depth interviews; case studies etc. can be used.

Estimados colegas:

Se han hecho muchas contribuciones que abarcan múltiples puntos de vista en el debate sobre el enfoque de métodos mixtos en la evaluación.

Mi pregunta básica es: ¿Cómo podemos abordar esta preocupación planteada por JP teniendo en cuenta las probables restricciones presupuestarias en los procesos de evaluación y las limitaciones que inclinan a los evaluadores hacia enfoques cuantitativos que son más rentables? [Sobre todo sin adquirir y aplicar software de alta gama para la recopilación, transcripción y análisis de datos cualitativos.]

Gracias de antemano!

Los métodos cualitativos suelen ser descriptivos. ¿Ha utilizado alguien la inferencia causal cualitativa?

El objetivo de la inferencia causal cualitativa es demostrar la relación causa-efecto, ya sea mirando al pasado o al futuro. Tengo la sensación de que este enfoque se basa en gran medida en entrevistas no guionizadas, en las que las cuestiones no descubiertas se revelan mediante preguntas de seguimiento. (¿Qué quiere decir? ¿Puede poner un ejemplo?)

Esta discusión es interesante e intrigante, especialmente dada la formación y experiencia multidisciplinar de los participantes.  Sin adelantarme a otras ideas y nuevas perspectivas que estén dispuestos a compartir, permítanme solicitar aclaraciones adicionales para nuestro aprendizaje compartido. Esta petición no se limita a quienes menciono, es una discusión abierta. Por favor, no duden tampoco en compartir enlaces a otras plataformas o redes.

Consideren estos puntos de vista antes de profundizar en otras cuestiones. Sigan leyendo, la guinda del pastel viene después:

“[Los métodos mixtos en la evaluación] obtienen buenos resultados cuando el proceso de integración está bien definido o cuando los métodos se aplican de forma secuencial (p. ej. estableciendo grupos de discusión para definir las preguntas de las encuestas, o seleccionando casos —sobre la base de las encuestas— para realizar entrevistas en profundidad)”. Cristian Maneiro.

“Cinco propósitos de las evaluaciones que utilizan métodos mixtos: comprobación, complementariedad, desarrollo, iniciación y expansión (también resumido en este artículo)”. Anne Kepple. Animo a todos los profesionales que utilizan métodos mixtos —y a todos los partidarios de este enfoque— a leer este artículo.

“Un buen fontanero utiliza herramientas diferentes según sea necesario y no se pregunta qué reparaciones requieren una única herramienta... Del mismo modo, un buen evaluador debe saber utilizar una amplia variedad de herramientas, no sólo una llave inglesa”. Olivier Cossée.

“La evaluación también analizó y explicó los resultados cuantitativos con información obtenida con métodos cualitativos. Esto no sólo permitió caracterizar la intervención, la política educativa y la financiación, sino que también dio lugar a recomendaciones más pertinentes en materia de políticas”. Maria Pia Cebrian.

Preguntas adicionales:

• Cristian: Gracias por compartir tu experiencia y preferencia por el diseño secuencial exploratorio, según el cual los métodos cualitativos preceden a los cuantitativos. Una pregunta: ¿qué ocurre si la evaluación con métodos mixtos comienza con una encuesta y termina con entrevistas cualitativas o discusiones por grupos (es decir, un diseño secuencial explicativo)? Por cierto, ¿alguien ha utilizado o tiene constancia de algún diseño secuencial explicativo? ¿Conocen alguna evaluación con métodos mixtos que se haya diseñado de esta forma?  Sigamos recopilando y compartiendo experiencias y recursos sobre el diseño de evaluaciones que utilizan métodos mixtos.

• Cristian también ha planteado una cuestión muy interesante que merece la pena tener en cuenta. Algunas publicaciones muestran que todos los datos no numéricos son cualitativos (p. ej. imágenes, mapas, vídeos, etc.). ¿Qué ocurre con este tipo de información? ¿Alguien ha combinado datos numéricos/cuantitativos con información pictórica, espacial o audiovisual? En caso afirmativo, agradecería que compartieran su experiencia. No duden en aportar ideas sobre cómo tratar estos datos no numéricos.

• Emilia: ¡Me has alegrado el día (bueno, mi vuelo)! Leí las contribuciones de los miembros de EvalForward mientras estaba en el avión. Muchas gracias Emilia. Has planteado una cuestión que me ha recordado que uno más uno no debería ser igual a dos cuando utilizamos métodos mixtos. Cuando empleamos este enfoque, debemos aprovechar todo su potencial. Uno más debería ser igual a tres. De lo contrario la pérdida es doble. Por un lado, lean este artículo, en el que se argumenta de forma convincente por qué uno más uno debería ser igual a tres cuando se utilizan métodos mixtos. La segunda pérdida es la del autor del artículo (Michael Fetters). Falleció hace unas semanas y estudiosos afines le rindieron homenaje. ¡Que su alma descanse en paz!

• Emilia: Me ha gustado leer tu contribución. En la bibliografía existente (recuérdame que la comparta en algún momento) se menciona que los métodos mixtos son una combinación de métodos cualitativos y cuantitativos. Cuando se utilizan métodos del mismo paradigma (p. ej. Cualitativos) se habla de multimétodos o enfoques múltiples.

• “Y yendo un poco más allá:  ¿no podríamos considerar también como “métodos mixtos” la combinación de enfoques “colonizadores” con enfoques “indígenas”?”. Ajá... en el próximo número del African Evaluation Journal, hay una sección especial sobre cómo abordar las asimetrías de conocimientos. Esta reflexión sobre la naturaleza de los métodos mixtos podría ser una cuestión muy interesante para examinar en el futuro. En la práctica, ¿conocen algún caso en el que se combinen metodologías occidentales (p. ej. encuestas) con métodos orales o pictóricos del sur global? Espero que puedan compartir información y experiencias sobre este asunto.

• Lal: Has dado en el clavo. ¿Podrías ilustrar con un ejemplo cómo se aplica el pensamiento compartimentado a la hora de realizar una evaluación que utiliza métodos mixtos?

• Margrieth: Bien dicho. Nuestra formación académica determina en gran medida qué métodos empleamos en el ejercicio de nuestra profesión. ¿Cómo corregimos esta predisposición? Cuando se usan métodos mixtos, es recomendable colaborar con otro investigador para que compruebe y enriquezca el enfoque adoptado. Por ejemplo, si soy un experto en números, lo ideal sería que trabajara con un investigador cualitativo (p. ej. un antropólogo) para complementarnos mutuamente, aunando nuestros puntos fuertes a fin de compensar cualquier carencia en nuestra formación académica o práctica profesional. ¿Cómo creen que un investigador/evaluador debería comprobar y complementar el enfoque adoptado? ¿Conocen algún ejemplo práctico? Por favor, compártanlo.

• Pia: Impresionante. ¡Varias fuentes de herramientas de recopilación de datos y análisis realizados! Gracias por compartir el artículo publicado. Es un buen ejemplo de lo selectivos/sesgados que pueden ser los investigadores/evaluadores en función de su formación académica, en consonancia con lo indicado por Margrieth en su contribución. Este artículo se centra exclusivamente en métodos cuantitativos, sin mencionar ningún método cualitativo (a no ser que me haya perdido algo cuando he ojeado el texto rápidamente). ¿Podrías consultar la publicación original en español y proporcionar información sobre cómo se utilizaron los datos de las entrevistas y las discusiones por grupos en la encuesta? Gracias de antemano.

• Margrieth dejó claro que la elección entre métodos cuantitativos, cualitativos o ambos viene determinada —en principio— por nuestra trayectoria profesional. Los evaluadores que han trabajado anteriormente en el mundo de la economía, la ingeniería u otras disciplinas similares suelen utilizar métodos cuantitativos. Por su parte, aquellos evaluadores que han trabajado en disciplinas artísticas o humanidades suelen usar métodos cualitativos. No puedo estar más de acuerdo. ¿Y los evaluadores con una formación académica científica cuya experiencia profesional les ha reorientado al empleo de métodos cualitativos (y viceversa)? Mi caso es un ejemplo de esta dicotomía, pero no estoy cerrado a ningún enfoque.  

• Olivier: Tu contribución describe muy bien un diseño secuencial exploratorio. ¿Qué ocurre cuando una evaluación comienza con métodos cuantitativos y, una vez obtenidos los resultados, hay hallazgos contradictorios que necesitamos comprender y explicar? ¿Conocen algún caso de una evaluación en la que los métodos cuantitativos hayan PRECEDIDO a los cualitativos (es decir, un diseño secuencial explicativo)? ¡Muy atinado, Olivier! A diferencia de las ciencias naturales, no tenemos un laboratorio para seres sociales.

¡Espero que todos sigamos aprendiendo con esta discusión!

Estimados colegas:

Saludos desde Uruguay.

Creo que la discusión planteada por Jean es muy relevante. Los métodos mixtos son sin duda una estrategia poderosa para abordar un objeto de evaluación desde diferentes ángulos, y es casi una práctica estándar en la mayoría de los Términos de Referencia (TDR) de evaluación que se ven actualmente, ya sea para agencias de la ONU u otras.

Sin embargo, estoy de acuerdo en que a veces el término se convierte en un cliché y se utiliza sin considerar si una estrategia de métodos mixtos es realmente la más adecuada. Se parte de la base de que las distintas técnicas (por lo general, entrevistas con informantes clave y encuestas) proporcionarán información complementaria, pero a menudo los encargados no tienen una idea clara de cómo se integrará y triangulará esta información. En mi opinión, los casos de éxito se producen cuando el proceso de integración está bien definido o cuando los métodos se aplican de forma secuencial (por ejemplo, realizando grupos de discusión para definir las preguntas de la encuesta o seleccionando casos a partir de una encuesta para realizar entrevistas en profundidad).

Además, entiendo que con los avances tecnológicos actuales, los métodos mixtos tienen nuevas potencialidades. Ya no se trata solo de la típica combinación de entrevistas a informantes clave y debates de grupos focales con encuestas, sino que puede incluir análisis de big data mediante aprendizaje automático, análisis de sentimientos, etc.

¡Saludos a Emilia y a los demás miembros!

Como persona que aprecia el valor de la evaluación en relación con su importancia pragmática para un proyecto en fase de planificación o realizado en una medida determinada, me alegra ver que califica el debate actual de reduccionista.
Por supuesto, este modo de pensar parece estar muy arraigado en casi todos los campos, y lo que se ha hecho hasta ahora para librarnos de este íncubo parece ser inventar una nueva frase para describirlo, a saber, "pensar en silos". Su extensión a la evaluación da lugar al inevitable debate sobre los métodos cualitativos frente a los cuantitativos.
Creo que sería fructífero concebir la evaluación como un esfuerzo por determinar la adecuación de un objetivo que debe alcanzarse o lograrse mediante un proyecto. Esta adecuación depende naturalmente de una serie de variables que hay que tener en cuenta y que a su vez varían según las circunstancias. Pondré algunos ejemplos:

1. La adecuación del suministro de alimentos en una zona siniestrada no puede medirse con respecto a la necesidad de una dieta variada y equilibrada para el grupo destinatario.
2. La adecuación de un programa educativo debe determinarse en función de su utilidad para quienes se supone que van a beneficiarse de él. En este sentido, a menudo se oye hablar de la necesidad de que la población posea conocimientos de lectura, escritura y aritmética, mientras que lo que puede hacer con esos útiles atributos siempre queda poco claro.

En resumen, algún día la evaluación podrá referirse a la adecuación de un resultado con respecto a su calidad y cantidad óptimamente alcanzables en un conjunto de circunstancias existentes.

Saludos cordiales.

Lal.

Estoy de acuerdo con el punto de vista de JP.

Tenemos que considerar la caja de herramientas que se ajuste a nuestra evaluación.

El enfoque mixto es útil en función del contexto: La calidad como punto de partida y luego la cantidad para las pruebas y la medición.

Gracias.

Estimados colegas,

Para los que no lo conozcáis, os recomiendo encarecidamente este libro de mi gurú sobre la aplicación de métodos mixtos en evaluación: Mixed Methods in Social Inquiry, de Jennifer Greene.

Aunque fue escrito hace 16 años, sigue siendo muy pertinente. Me gustan especialmente los cinco propósitos de las evaluaciones con métodos mixtos: triangulación, complementariedad, desarrollo, iniciación y expansión (también resumidos en este artículo: https://www.jstor.org/stable/1163620.

Anne Kepple

Hola Jean, y gracias por tu pregunta.

Creo que todas las cuestiones de evaluación requieren un enfoque mixto. Las herramientas de recopilación de datos no son más que herramientas; hay que utilizarlas de manera oportunista -cuando funciona-, pero sobre todo no idolatrarlas. Sería como un fontanero al que le encantan las llaves inglesas pero no los destornilladores, y que intenta hacerlo todo con una llave inglesa, incluso atornillar tornillos... Eso sería absurdo: un buen fontanero utiliza varias herramientas, cuando y como es necesario, y no se pregunta qué tipo de fontanería requiere una sola herramienta...

Del mismo modo, un buen evaluador debe saber utilizar una caja de herramientas con varias herramientas, no sólo una las llave inglesa. 

Estoy de acuerdo con Vincente en que el trabajo cualitativo siempre debe PRECEDER a un esfuerzo cuantitativo. Antes de medir algo, hay que saber por qué y cómo medirlo, y para ello se necesita una comprensión CUALITATIVA del objeto de la medición. Uno de los errores más comunes de los "randomistas" es que gastan mucho tiempo y dinero en encuestas demasiado largas y complejas, porque no saben qué es importante medir. Así que intentan medirlo todo con cuestionarios interminables, y suelen fracasar.

Estimados todos,

(Y gracias JP por iniciar esta discusión, no contesto mucho pero leeros a todos es siempre una gran oportunidad de aprendizaje).  

Desde mi perspectiva, la metodología siempre debe estar al servicio de la evaluación, es decir, triangular una evaluación en función del problema y el uso de una u otra metodología evaluativa es relevante en términos de proporcionar un análisis más completo del objeto de evaluación y de las preguntas de evaluación, así como de las recomendaciones que se pueden proporcionar.

En cuanto a los métodos cuantitativos/cualitativos, mis dos centavos son esta evaluación que buscaba demostrar la efectividad de la inversión del gobierno peruano en educación superior a través de subsidios a personas en situación de pobreza.  Como parte de la metodología, utilizó modelos mincerianos, análisis univariados, bivariados y multivariados, así como encuestas con preguntas abiertas y cerradas, revisión y análisis de fuentes secundarias y entrevistas en profundidad. La evaluación también analizó y explicó los resultados cuantitativos con información procedente de métodos cualitativos, lo que no sólo permitió caracterizar la intervención, la política educativa y la financiación, sino que también dio lugar a recomendaciones políticas más pertinentes.  

Lamentablemente está en español, pero también tiene algunos de sus resultados en este artículo en inglés: "Retornos a la educación superior universitaria en Perú: The Effect of Graduation", en HUMAN Review, 11(2), 2022, pp. 59-72 (Scopus, EBSCO, ISOC, REDIB, Dialnet) (Salazar Cóndor, 2022a)

¡Mejor!

Pia

Estimada Emilia y colegas,

Creo que la contribución del Prof. Shaffer es absolutamente pertinente. Desde mi experiencia sobre el terreno con misiones de evaluación, es absolutamente vital desarrollar un conjunto de metodologías capaces de analizar lo que necesitamos comprender. Y, según mi experiencia, ese conjunto de metodologías es siempre una mezcla de metodologías cualitativas (primero, para "explorar la realidad") y cuantitativas (para "deducir tendencias y magnitudes"). Y, como usted ha dicho, es difícil tratarlas como "absolutamente cualitativas" o "absolutamente cuantitativas". Una interrelación inteligente entre metodologías cuali y cuantitativas es siempre uno de los pasos más difíciles del proceso de preparación de la misión de evaluación.

Esperando ver más comentarios interesantes sobre este tema absolutamente interesante sobre la evaluación, saludos cordiales

Vicente

Gracias a Jean por plantear esta discusión.

Estimados colegas,

Por favor, tengan paciencia conmigo mientras comparto contenido académico con el fin de ampliar un poco la discusión.

En definitiva, ¿qué son los métodos mixtos? Creo que el debate entre métodos cualitativos y cuantitativos es bastante reduccionista. Y, sinceramente, no puedo creer que aún estemos discutiendo si los ensayos controlados aleatorios son el estándar de referencia.

Me gustaría compartir un enfoque que me llamó la atención. Del profesor Paul Shaffer, de la Universidad de Trent (Canadá), se centra en el uso de métodos mixtos para la evaluación de impacto, pero entiendo que puede extrapolarse a otros tipos de estudios, como la evaluación de resultados. Lo que me gusta de su propuesta es que va más allá del debate entre métodos cuantitativos y cualitativos.

En su opinión, las categorías que supuestamente diferencian los enfoques cuantitativos y cualitativos se están diluyendo. Por ejemplo: (a) en muchas ocasiones los datos cualitativos se cuantifican; (b) los grandes estudios cualitativos permiten la generalización (si bien se trata de una característica de los estudios cuantitativos); y (c) casi siempre recurren a dos modos de inferencia: la inducción y la deducción.  

En vista de lo anterior, ¿qué son los “métodos mixtos”?

Una combinación de enfoques que puedan aportar solidez a un diseño, diferentes perspectivas para analizar una misma cuestión. En función de las preguntas que se deseen responder o probar, los “métodos mixtos” para la evaluación de impacto podrían consistir en la conjunción de dos o más métodos cuantitativos. Por tanto, se podrían utilizar diferentes métodos cualitativos para mejorar la solidez de una evaluación/investigación. A esta combinación también se la denominaría “métodos mixtos”.

Y yendo un poco más allá,  ¿no podríamos considerar la combinación de enfoques “colonizadores” con enfoques “indígenas” como “métodos mixtos” también?

Espero que esta aportación pueda contribuir a la reflexión.

Un cordial saludo,

Emilia

Emilia Bretan

Evaluation Specialist

FAO Office of Evaluation (OED)

Gracias por este tema/enfoque. 

Yo añadiría una séptima consideración, sobre cómo interactúan o difieren los métodos cualitativos de los cuantitativos: 

Durante la difusión de los resultados y las recomendaciones - ¿Cómo se difunden los resultados y las recomendaciones de los métodos cualitativos y cuantitativos para obtener el resultado/impacto más eficaz, y a quién?  ¿Existen pruebas de que determinados enfoques de difusión de los resultados cualitativos y cuantitativos son más eficaces/receptivos para determinadas/la mayoría de las partes interesadas que otros enfoques?

Dr. Uzodinma Adirieje.                                                                                                                                      Past National President, Nigerian Association of Evaluators (NAE).                                                                  CEO/Programmes Director, Afrihealth Optonet Association (AHOA)

Interesante discusión, y para iniciar, considero que la selección de métodos cuantitativos o cualitativos o ambos en principio está determinado por tu formación profesional. La tendencia de evaluadores que provienen de profesiones como economía, ingeniería o similares es a utilizar métodos cuantitativos, mientras que los evaluadores de áreas humanitarias utilizan métodos cualitativos. La evaluación de los programas debe superar dichas tendencias y efectivamente apostar por métodos mixtos que permitan evidenciar desde ambos enfoques los cambios y los avances que se realizan con los programas.

Un reto que se tiene, por ejemplo, es el diseño de indicadores que sean más cualitativos, los cuales son más difíciles de construir, pero son cada vez más necesarios ya que permiten obtener información relacionada con los sentires y efectos no cuantificables de y sobre la población participante de los programas.