Gordon [user:field_middlename] Wanzare

Gordon Wanzare

Monitoring, Evaluation, & Learning Expert
Kenya

I am a Monitoring, Evaluation, and Learning (MEL) expert with over 15 years of related work experience gained in international and national Non-Governmental Organizations (NGOs) and Governments in East and West Africa. My MEL experience has been in the roles of management, advisory, consultancy, and volunteerism.

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion
    • Estimado Jean, estimados colegas,

      Gracias por aclarar que la discusión no se limita a programas, sino que también incluye proyectos o cualquier intervención humanitaria o de desarrollo. Está siendo muy instructiva y enriquecedora. ¡Y estoy aprendiendo mucho!

      Cuando sostengo que, en el contexto de una evaluación, “cuando algo es demasiado complicado o complejo, la simplicidad es la mejor estrategia”, quiero decir que no es necesario utilizar varias metodologías y fuentes de datos para tener en cuenta la complejidad.  Los datos cuantitativos y cualitativos se pueden centrar en los objetivos y las preguntas de la evaluación. Por ejemplo, utilizar enfoques de evaluación que tienen en cuenta la complejidad —como la recolección de resultados, el seguimiento de procesos, el análisis de contribuciones, el análisis de redes sociales, etc.— no implica necesariamente que haya que emplear varios métodos de recopilación de datos cuantitativos y cualitativos. Por ejemplo, en la recolección de resultados, se puede recurrir a la revisión de documentos y las entrevistas a informadores clave para elaborar descriptores de resultados. Y, posteriormente, durante la fundamentación, realizar una encuesta y entrevistar a informadores clave. He utilizado análisis de redes sociales y entrevistas a informadores clave para evaluar el cambio en las relaciones entre agentes de un sistema de mercado.  Asimismo, he realizado análisis de redes sociales y entrevistas en profundidad en un estudio de impacto social de un programa de desarrollo de la iniciativa empresarial para jóvenes rurales. En esencia, basta con utilizar tres métodos de recopilación de datos (el concepto del taburete de tres patas o del triángulo) para alcanzar los objetivos de evaluación con información concreta y precisa. Mucho se ha escrito sobre cómo superar la complejidad con simplicidad en diferentes esferas de la vida, la gestión, el liderazgo, etc.

      En relación con la pregunta sobre quién decide la metodología, un plan de seguimiento, evaluación y aprendizaje es muy claro en lo que respecta a las mediciones y los métodos de evaluación, al menos según mi experiencia. Este tipo de planes son elaborados por el equipo del programa. Se pide a los evaluadores que propongan una metodología de evaluación en las propuestas técnicas con un doble propósito: valorar su competencia técnica e identificar la que mejor se ajusta al plan de evaluación. Por lo general, el evaluador y el equipo del programa se ponen de acuerdo sobre la metodología más adecuada durante la fase inicial de la evaluación. Esto forma parte del informe inicial que normalmente suscribe el equipo del programa.

      Mi punto de vista sobre estas cuestiones.

      Gordon

    • ¡Muy buena pregunta de Jean! ¡Y contribuciones muy perspicaces!

      En primer lugar, creo que la pregunta de esta discusión es muy concreta: ¿cómo se utilizan los métodos mixtos en la evaluación de PROGRAMAS? ¿Verdad? Sabemos que un programa consta de dos o más proyectos. Es decir, se trata de un conjunto de proyectos. Por tanto, los programas no suelen ser sencillos, ya que se desconocen la mayor parte de las cuestiones. Los programas pueden ser complicados o complejos, en función de que sepamos —o no— qué desconocemos. Según el diccionario Oxford de la lengua inglesa, un método es un procedimiento particular para realizar o abordar algo.  En los procedimientos se utilizan herramientas. Soy de los que creen que, cuando algo es demasiado complicado o complejo, ¡la simplicidad es la mejor estrategia!

      En función del contexto, el diseño y el plan de evaluación del programa, y los objetivos y las preguntas de la evaluación, el evaluador y el equipo del programa pueden acordar el mejor método —o métodos— que contribuya a alcanzar los objetivos de la evaluación y dé respuesta detallada a las preguntas de ésta. Me gusta el enfoque que se adopta en los hospitales. A excepción de algunas situaciones de emergencia, a los pacientes se les realiza un triaje, una evaluación clínica y una revisión de sus antecedentes médicos, un análisis de laboratorio, unas pruebas radiológicas, etc. El médico analiza y utiliza estas fuentes de información para hacer un diagnóstico, dar un pronóstico y establecer un tratamiento. En función de las circunstancias y los recursos, se decide si todas estas fuentes de información son esenciales o no.

      Los métodos mixtos están muy bien, pero la medida y el orden en que se utilizan se deben basar en las circunstancias del programa y la evaluación. De lo contrario, en lugar de dar respuesta a las preguntas de evaluación de un programa complejo o complicado, nos faltarán datos.  Utilizar todo tipo de métodos cualitativos a la vez (encuestas abiertas, entrevistas a informantes clave, reuniones para la reflexión comunitaria, observaciones, revisión de documentos, etc.) además de métodos cuantitativos quizás no sea tan buena idea.

      En cualquier caso, puede que se haya realizado una evaluación exhaustiva de determinados proyectos de un programa y se haya documentado su contribución a los objetivos de éste. En tal caso, a nivel de programa bastaría con realizar algo sencillo como un examen o revisión.

      Cuando algo sea complicado o complejo, simplifiquen y limítense a unos pocos datos.

      Mi punto de vista.

      Muchas gracias.

      Gordon

    • Estimados miembros,

      Este es un debate interesante.

      Informar forma parte de la comunicación y un informe es una de las herramientas de comunicación. Idealmente, todo proyecto, programa o intervención debería contar con un plan de comunicación claro basado en un análisis de las partes interesadas ( ...que identifique claramente las funciones, la influencia y la estrategia de gestión). También puede elaborarse un plan de comunicación específico para las evaluaciones. Un plan de comunicación suele tener líneas de actividad y presupuesto y responsabilidades y debe formar parte del presupuesto general del proyecto, programa o intervención. Puede que no sea práctico que el evaluador asuma todas las responsabilidades del plan de comunicación de la evaluación, pero puede asumir algunas, sobre todo las principales, ya que la comunicación puede ser algo de largo recorrido, especialmente si tiene como objetivo influir en las políticas o cambiar comportamientos y, como todos sabemos, los evaluadores suelen tener limitaciones de tiempo. La comunicación de la evaluación secundaria puede ser gestionada por los gestores y comisarios de la evaluación con el apoyo técnico de los socios de comunicación.

      Mi opinión. 

      Gordon

  • Es por ello que debe resultar útil para los responsables de las políticas, los encargados de elaborar los programas, los planificadores de los proyectos y los responsables superiores. Recientemente he realizado una encuesta a diferentes evaluadores para examinar el concepto de utilización de las evaluaciones, su visión sobre este tema y la materialización de este enfoque en su trabajo. Es decir, he analizado cómo informan los evaluadores sobre los resultados de las evaluaciones y de qué manera contribuyen a su uso e influencia.

    Uso y utilización de las evaluaciones: un resumen

    El enfoque de evaluación centrada en el uso (UFE

  • Reporting and supporting evaluation use and influence

    Discussion
    • Estimados todos,

      Gracias por las contribuciones perspicaces y muy útiles a este debate que inicié. Gracias también por completar la encuesta; hemos recibido 70 respuestas de evaluadores. Este debate ha sido muy rico y, como parte del intercambio continuo de conocimientos, sintetizaremos las contribuciones, analizaremos las respuestas de la encuesta y publicaremos un artículo en el blog en los próximos días, que creo que les resultará útil. Estén atentos a la publicación del blog en el sitio web de EvalForward.

      Thank you! Asante! Merci! Gracias! Grazie! शुक्रिया, ඔබට ස්තුතියි, நன்றி, Salamat, Takk skal du ha, Bedankt, Dankeschön ...

    • Estimados miembros,

      Sus conocimientos, experiencias y reflexiones sobre este tema son muy esclarecedores y útiles. ¡Muchas gracias por compartirlos! A continuación, enumero algunas enseñanzas que he extraído hasta ahora de esta discusión. Cualquier contribución/reflexión adicional es más que bienvenida. Recuerden también cumplimentar la encuesta (en inglés).

      Un informe de evaluación debe ser breve

      Un informe de evaluación demasiado extenso aburre al lector/usuario, que no suele estar interesado en consultar información que ya conoce ni dedicar su tiempo a buscar aquélla que verdaderamente le es útil o novedosa. Muy poca gente —incluidos los usuarios de las evaluaciones— dedicaría tiempo a leer informes de evaluación muy largos. ¡De hecho, es poco probable que un evaluador lea uno de sus propios informes (una vez completado)! Algunas recomendaciones: 

      • Redactar un resumen ejecutivo de menos de 4 páginas (2 hojas a doble cara), destacando los resultados y conclusiones y las recomendaciones basadas en éstos.
      • Elaborar un resumen de menos de 10 páginas. Incluir cuadros y diagramas y enumerar los resultados de forma esquemática (viñetas).
      • El informe completo debería tener una extensión de unas 50 páginas.
      • Destacar los cambios generados (o la ausencia de éstos), señalar los resultados contra natura y poner de relieve conocimientos sobre los indicadores o las variables de interés. 

      Más allá del informe de evaluación: empleo de elementos visuales

      Mientras que las evaluaciones se perciban principalmente como requisitos burocráticos con sus correspondientes informes, perderemos grandes oportunidades de mejorar el proceso de aprendizaje. Asumir que la redacción de informes es la manera óptima —y única— de captar y transmitir evidencias y conocimientos es una verdadera lástima. Comunicar los resultados de las evaluaciones de forma concisa, comprensible y significativa es todo un desafío. Necesitamos pensar de forma textual, pero también de manera visual. Debemos resumir los resultados de forma más gráfica, utilizando figuras, ilustraciones y elementos multimedia. Por ejemplo, el Programa Mundial de Alimentos (PMA) de las Naciones Unidas está combinando —en la región de Asia y el Pacífico— la evaluación con la facilitación visual por medio de una metodología denominada EvaluVision. Implicar a personas que pueden tener grandes capacidades de aprendizaje, análisis y comunicación —pero que no son necesariamente expertas en la redacción de informes— es conveniente.

      Sin embargo, los elementos visuales se suelen valorar por su estética y novedad. “Quedan bien” y “son modernos” (cool). A todo el mundo le gustan y lo perciben como algo útil. El desafío consiste en incluirlos y elaborar al mismo tiempo un informe “convencional”. Así lo exigen quienes encargan las evaluaciones, incluidos los proveedores de financiación. 

      Un cambio de paradigma en la formulación de recomendaciones

      A menudo, hay lagunas entre los resultados, las conclusiones y las recomendaciones de los informes de evaluación, que pueden afectar de manera negativa a su calidad y utilización posterior. Tradicionalmente, los evaluadores formulaban las recomendaciones basándose en las conclusiones. Sin embargo, que el equipo de ejecución del proyecto incorpore a un encargado de formular políticas para redactar conjuntamente recomendaciones aplicables puede contribuir a sacar mayor provecho de las evaluaciones. La función del evaluador consiste en asegurarse de que todas las conclusiones o resultados importantes se traduzcan en recomendaciones aplicables, ayudando al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. Esto se puede lograr formulando preguntas que ayuden a identificar las recomendaciones aplicables y garantizando también el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. El objetivo es que los usuarios de una evaluación hagan suyas las recomendaciones y el equipo de evaluación los resultados empíricos. Si las principales partes interesadas participan en una evaluación, presentar los resultados de ésta a los responsables de las decisiones es relativamente sencillo. Por lo tanto, el análisis de las partes interesadas es fundamental para comprender el interés, la influencia y la categoría de las partes interesadas, a fin de ayudarlas en mayor medida a aprovechar las evaluaciones.

      Lecciones de las auditorías ¿Son útiles los comentarios/respuestas de los responsables superiores?

      ¿Deberíamos recibir comentarios de los usuarios de las evaluaciones? Habitualmente, los proyectos de los informes de evaluación se comparten con los encargados de la ejecución para su revisión y aprobación. En el ámbito de las auditorías, el cliente debe proporcionar una respuesta —positiva o negativa— a las observaciones del auditor en un plazo breve de tiempo. Tal vez, y como se ha mencionado anteriormente, trabajar con los usuarios de las evidencias generadas (resultados y conclusiones) en una evaluación para formular recomendaciones aplicables puede ser una forma de comentario/respuesta de los responsables de ésta. Sin embargo, es preciso gestionar bien la comunicación y las relaciones, a fin de evitar que las evaluaciones se perciban como una auditoría o una herramienta “policial”.

      El rastreador de acciones

      Se puede utilizar un rastreador de acciones (en Excel o cualquier otro formato) para realizar un seguimiento de la implementación de las recomendaciones a lo largo del tiempo. Simplificar el informe de evaluación y utilizar un lenguaje y un formato sencillos —por ejemplo, preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta— es una práctica bastante útil debido a las siguientes razones:

      • Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
      • El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
      • Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.

      Construir alianzas y relaciones para utilizar las evidencias

      Habitualmente hay subgrupos o equipos técnicos y políticos. En algunas situaciones, los equipos técnicos rinden cuentas a un equipo administrativo que interactúa con los responsables de las políticas. Los evaluadores suelen trabajar con el equipo técnico, y pueden no tener acceso a los otros equipos. El informe y las recomendaciones son triviales, independientemente del proceso que se haya seguido para su elaboración. La preocupación reside en el desfase entre la presentación del informe de evaluación y las acciones en materia de políticas en los países en desarrollo. Institucionalizar el uso de las evidencias es fundamental para fortalecer el uso y la influencia de las evaluaciones. Sin embargo, es un proceso que puede llevar un cierto tiempo, en particular los cambios estructurales (enfoque descendente). Que los responsables superiores apoyen sin fisuras la utilización de las evidencias es una gran oportunidad que no conviene desaprovechar. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Algunos ejemplos de acciones muy útiles son construir pequeñas alianzas y relaciones para aprovechar las evidencias; incorporar gradualmente a las partes interesadas más “influyentes”; o poner de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.

      Evaluaciones en tiempo real

      En la era de las pandemias y las situaciones de crisis, las evaluaciones deben ser rápidas y se deben realizar en el momento oportuno. Tenemos que “comunicar continuamente”. Una de las dimensiones de la calidad de los datos es su oportunidad. Refleja el tiempo transcurrido entre el momento en que se dispone de la información y los acontecimientos o fenómenos que ésta describe. La noción de oportunidad se evalúa en función del periodo de tiempo en el que que los datos son valiosos y permiten actuar. Las evaluaciones deben ser oportunas para que resulten útiles y haya margen para la acción.

      Más allá del uso de las evidencias

      El motivo principal para realizar una evaluación es contribuir a una mejora social. Esto incluye utilizar los resultados para cambiar políticas o programas, pero también va más allá. El uso de una evaluación per se no es su objetivo final. Se pretende que los cambios generados promuevan mejoras en la vida de las personas. Demostrar cómo contribuyen las evaluaciones a mejorar las condiciones socioeconómicas puede fortalecer su valor, su influencia y su uso.

      Gordon Wanzare