¿Qué tipo de evaluador es usted? Análisis de los diferentes paradigmas de los evaluadores

Evaluation in Gabon

¿Qué tipo de evaluador es usted? Análisis de los diferentes paradigmas de los evaluadores

6 min.

Este artículo examina los diferentes paradigmas de los evaluadores y se pregunta qué relación tienen con su experiencia y cómo influyen en el ejercicio de su profesión.

La gente se suele preocupar por la “manera correcta” de hacer las cosas. En su labor como evaluadores, quizás hayan coincidido con otros profesionales que trabajan de forma similar a la suya, o que por el contrario adoptan un enfoque diferente a la hora de abordar un tema o recopilar información ... Pero, ¿y si no hubiera una única forma “correcta” de hacer las cosas, sino varias, condicionadas por nuestra visión personal del mundo?

El concepto de paradigmas de los evaluadores

Esto es lo que sugirieron Egon Guba e Yvonna Lincoln a finales de la década de 1980 cuando introdujeron el concepto de “paradigmas de los evaluadores”[1]. No se referían a paradigmas científicos, sino más bien a diferentes conjuntos de creencias comunes. En palabras de Donna Mertens y Amy Wilson, los paradigmas de los evaluadores son “construcciones metafísicas generales que incluyen conjuntos de supuestos filosóficos relacionados de forma lógica [...] Estos supuestos —de los que los evaluadores quizás no sean aún conscientes— determinarán con cuál de los [diferentes] paradigmas trabajan con mayor comodidad”[2]. Mertens y Wilson identificaron cuatro paradigmas: transformador, (pos)positivista, utilitarista y constructivista.

El concepto de los paradigmas resultaba muy atractivo. Pero entonces nos preguntamos: ¿en qué medida se aplican en la práctica? ¿Se identifican los evaluadores con estos paradigmas y, en caso afirmativo, cuán comunes son? ¿Podemos relacionarlos con su experiencia? Para dar respuesta a estas cuestiones, elaboramos un sencillo cuestionario que incluye ocho preguntas basadas en situaciones profesionales cotidianas. Para cada pregunta se ofrecen cuatro posibles respuestas, que a su vez se corresponden —aunque no de forma explícita— con cada uno de los cuatro paradigmas. Los encuestados pueden elegir una o dos respuestas para cada pregunta. Elaboramos un cuestionario adicional para recopilar información sobre los países de origen, la formación y la experiencia de los encuestados. Tras una fase de pruebas, el cuestionario se difundió por medio de organizaciones voluntarias para la evaluación profesional (VOPE, por sus siglas en inglés) de Europa, Canadá y África francófona.

Figura 1. La primera pregunta del cuestionario y los paradigmas correspondientes

Pregunta 1

Desde entonces, más de 800 evaluadores de casi 30 países han participado en la encuesta. Estos son nuestros hallazgos.

Nuestros hallazgos

En primer lugar, los encuestados se han identificado con las “situaciones cotidianas” presentadas en el cuestionario, así como con los cuatro paradigmas. Según las pruebas iniciales y los comentarios recopilados, el paradigma transformador ha sido el único que ha planteado algunas dudas.

En segundo lugar, el paradigma constructivista es el más frecuente en nuestra muestra: el 44 % de los encuestados se ha identificado con él. Le siguen el paradigma utilitarista (32 %), el positivista (21 %) y el transformador (4 %). Este orden varía de un país a otro. Por ejemplo, la mayoría de los encuestados de nacionalidad suiza y alemana se han identificado con el paradigma utilitarista, pero ninguno de ellos lo ha hecho con el paradigma transformador. Es posible que usted sea una de las más de 500 personas que han respondido ya a la versión de este cuestionario en Evalforward. La mayoría se corresponde con el paradigma constructivista, seguido del utilitarista.

En esta versión se pueden elegir una o dos respuestas para cada pregunta y los encuestados han optado con frecuencia por esta alternativa. En tercer lugar, esto guarda relación con otra enseñanza de la encuesta: cuando se enfrentan a situaciones concretas, los encuestados tienden a combinar respuestas asociadas a diferentes paradigmas. Mientras que el 35 % de los encuestados eligió una única respuesta para cada pregunta, el 65 % seleccionó dos respuestas al menos en una ocasión. Solamente el 7 % de los encuestados se decantó por las respuestas correspondientes a un mismo paradigma en todas las preguntas. También observamos que casi la mitad de los encuestados optó por una respuesta asociada al paradigma transformador al menos una vez.

En cuarto lugar, nos preguntamos si existe algún factor determinante que lleve a los encuestados a elegir un paradigma determinado. Por ejemplo, ¿influye la experiencia en la perspectiva que tenemos de nuestra labor como evaluadores? Según nuestro análisis multivariable inicial, algunas variables —como el sexo, la edad, el nivel profesional, el número de evaluaciones realizadas, el nivel educativo, la formación y el sector profesional— parecen tener una influencia limitada en el número medio de respuestas correspondientes a cada paradigma.

Aun así, parece que la formación y el sector profesional en el que los encuestados han adquirido una experiencia significativa influyen en la probabilidad de que elijan respuestas asociadas a los dos paradigmas menos frecuentes: el transformador y el positivista. Por ejemplo, los economistas tienden a decantarse por respuestas vinculadas al paradigma positivista, mientras que los encuestados con experiencia significativa en la evaluación de políticas relacionadas con el empleo suelen optar por respuestas asociadas al paradigma transformador y al paradigma utilitarista.

No obstante, parece más probable que las preferencias en este ámbito estén influenciadas por aspectos más generales, como nuestra cultura o nuestro pasado. Por ejemplo, las diferencias entre países apuntan a distintas culturas nacionales de evaluación que podrían influir en estos resultados. Tal y como destacaron Mertens y Wilson, “los evaluadores no logran dejar atrás su pasado”[3].

En última instancia, esta investigación también cuestiona el propio concepto de los paradigmas. Los evaluadores experimentados que respondieron al cuestionario observaron su capacidad para decantarse por cualquiera de las respuestas en función del contexto. Pero también afirmaron sentirse más cómodos con algunas de ellas, lo que sugiere la idea de una “zona de confort”. Ésta se podría ampliar acumulando experiencia y reflexiones, si bien algunos paradigmas seguirían quedando fuera de ella (p. ej. “me identifico con el perfil mediador, científico o pragmático, pero me siento realmente incómodo con el paradigma transformador”). ¡Sin duda, se trata de un tema que deberíamos seguir estudiando!

Limitaciones de la investigación

Cabe señalar que los resultados no son representativos del conjunto de evaluadores de cada país. Quienes tuvieron acceso a la encuesta facilitaron las respuestas de forma voluntaria. Además, probablemente no sea posible obtener una muestra representativa, ya que se dispone de poca información sobre el gremio de los evaluadores en la mayoría de los países (p. ej. quiénes se identifican como tales y en virtud de qué criterios).

También nos gustaría señalar lo siguiente:

  • El cuestionario se diseñó para que fuera sencillo y ayudara a las personas a comprender sus propias tendencias. Por ejemplo, los paradigmas se presentaron siempre en el mismo orden para evitar un posible sesgo —en virtud del cual la información incluida en primer lugar se consideraría más importante— y facilitar la autoevaluación. 
  • La validez de la escala de medición no se probó de forma específica, aunque el cuestionario se envió a numerosos evaluadores de diferentes países y trayectorias profesionales antes de su lanzamiento en junio de 2019.