¿Las herramientas visuales pueden ayudar a los evaluadores a comunicar e interactuar mejor?

Hola Harriet,

Sólo quería felicitarte - muy buenos ejemplos aquí. El vídeo de la La crisis de la langosta en particular fue un gran producto.

Saludos cordiales, Pamela

Gracias de nuevo por todas vuestras inspiradoras y estimulantes contribuciones.

Me doy cuenta de que aún no he compartido nada sobre la forma en que utilizamos las herramientas visuales en la Oficina de Evaluación de la FAO (OED), donde trabajo actualmente.

Nuestra misión en la OED (visualizada más abajo) es facilitar la toma de decisiones bien informadas. Una de las formas en que tratamos de lograrlo (un pilar del modelo de estrategia que figura más abajo...) es creando productos de comunicación que sean accesibles y útiles para nuestros principales usuarios de la evaluación.

Para lograrlo, el equipo de conocimiento y comunicación se reúne con los equipos de evaluación para identificar a los usuarios clave de la evaluación y considerar qué conocimientos de la evaluación les serán útiles. Sobre la base de este debate, trabajamos juntos para desarrollar productos de comunicación que permitan compartir mensajes relevantes con diferentes audiencias. Utilizamos herramientas visuales para que estos mensajes sean más accesibles a quienes no tienen tiempo o ganas de leer un informe de evaluación completo, o a quienes sólo les interesa un aspecto concreto de las conclusiones.

La oficina tiene un contrato con un profesional visual (¡yo!) para crear productos visuales cuando y como los necesitemos. Este acuerdo permanente nos permite responder rápidamente a las oportunidades, desarrollar productos visuales de forma iterativa y afinar y actualizar nuestros productos según sea necesario.

Los productos que hemos estado probando hasta ahora incluyen:

Animaciones de pizarra y vídeos

cortos...

https://www.youtube.com/shorts/O33rOoVylSk 

Y más largo...

https://www.youtube.com/watch?v=8S3BeOtpn9k&t=245s 

Infografía: ésta visualiza un estudio de caso de la evaluación del ODS 14.

Resumen visual de los informes de evaluación

https://www.fao.org/evaluation/list/country-programme-evaluation-of-fao-in-jordan/en 

Iconos: este representa uno de los "cuatro mejores" de la FAO - mejor producción

y dibujos animados

Este dibujo animado se utilizó en un seminario web sobre nuestro enfoque para alcanzar los objetivos de los ODS.

En el futuro (e inspiradoa por las ideas surgidas de este debate) me gustaría que nuestro equipo creara circuitos de retroalimentación para supervisar y mejorar la eficacia de los diversos productos y canales que utilizamos.  También espero que podamos integrar más profundamente las herramientas visuales en el trabajo de la División: no sólo para comunicar las conclusiones, sino también para interactuar con las partes interesadas a lo largo del proceso de evaluación, y para apoyar los demás pilares de nuestra estrategia en algunas de las formas descritas en este grupo de debate. 

Así pues, ¡estén atentos!  En breve estará disponible un resumen de nuestro debate y un blog en el sitio web de Evalforward. Espero seguir compartiendo ideas con todos ustedes en los próximos meses.

Harriet

Hola a todos,

Me gusta mucho este debate tan activo. Parece que nos damos cuenta de que hay muchos aspectos de la visualización en términos de herramientas, audiencia y propósito, y esto es sólo el principio del principio.

Casualmente, esta mañana he recibido una noticia sobre el lanzamiento de una formación en línea especializada en visualización y evaluación de datos: 
https://lovingvisuals.com/. 

La persona que está detrás del curso es alguien en quien puedo confiar tanto en evaluación como en visualización. Podría ser un buen sitio para quien quiera utilizar más la visualización en los informes de evaluación y demás.

Saludos,

Keisuke

Keisuke Taketani 
Graphic Facilitation and Design
www.keisuketaketani.com

Unas ideas muy útiles, Silva. Tienes razón en que los elementos visuales suelen ser bonitos añadidos. Ya es hora de que nos formemos y creemos una red de expertos y profesionales capaces de comunicarse en otros idiomas y medios.

--

Dr. Aparajita Suman

Advisor- Knowledge Management 

Coalition for Disaster Resilient Infrastructure

Hola a todos, 

He seguido con gran interés estos debates sobre el uso de herramientas visuales para mejorar la comunicación. Es bastante obvio, ya que a menudo tenemos la costumbre de introducir imágenes y dibujos en nuestras presentaciones, y también utilizamos estas herramientas cuando elaboramos mapas sociales con las comunidades para transmitir nuestros mensajes de la forma más eficaz posible. Sin embargo, también me gustaría señalar que sería difícil compartir los resultados de una evaluación exclusivamente con herramientas visuales, ya que a menudo nos enfrentamos a entornos multiculturales, multiétnicos y multilingües.

Gracias Harriet por compartir todas estas herramientas. Son realmente útiles.

Sin embargo... una advertencia cordial.
Utilizar visuales no es sólo cuestión de herramientas. Los visuales son una actitud; son lenguajes con reglas y retos.
Del mismo modo que tener acceso a "Word" (y otros procesadores de texto) no garantiza que puedas escribir con eficacia, utilizar herramientas visuales no garantiza una buena comunicación visual.

Por desgracia, en nuestro mundo lo visual es sólo un complemento. 
Escribir es lo habitual; luego, podemos añadir un bonito elemento visual.
Y en muchos casos, esos elementos visuales son malos, posiblemente dañinos.

Recuerdo que señalé a algunos colegas que sus imágenes planteaban problemas y podían malinterpretarse.
Y ellos se encogieron de hombros, sin ver el problema. 
"Es sólo un gráfico; ¿por qué te preocupas tanto por detalles insignificantes?".
Estos colegas se mostraban analíticos por una coma mal puesta en su texto, 
pero compartían imágenes que contradecían sus mensajes sin preocuparse, sin siquiera ver la cuestión. 

Así que... por supuesto, intenta familiarizarte con lo visual.
Pero tómate tu tiempo para aprender el idioma, pide opiniones y sé humilde. 
Necesitamos más lenguajes, además del escrito, en la evaluación.
Pero existe un círculo vicioso: como ahora predomina la palabra escrita,
los expertos y profesionales son predominantemente "escritores y lectores" y pueden resistirse a otros lenguajes. 
Lo visual es bonito, pero lo que importa es el informe escrito. Por eso, en la evaluación predominan los que escriben. 
Este es un problema importante, ya que impide la apropiación por parte de personas con diferentes preferencias comunicativas y lleva a compartir de forma ineficaz mensajes que se compartirían mejor de forma visual, teatral o en otros idiomas. 

Y, si piensa que "bonito, pero si no está escrito con palabras, no es fiable, creíble, aceptable..."  eres parte del problema :-) 

Así que... inspírate en las magníficas herramientas y recursos compartidos por Harried (¡gracias!), y explora las imágenes. Pero recuerda que no son un complemento. Son un lenguaje que hay que dominar, pero que es un reto utilizar bien. :-)

Estimada Harriet,
Qué gran debate y cuántas reflexiones interesantes. Me gusta el comentario de Kombate sobre la capacidad de las herramientas visuales para aumentar el impacto. Viniendo de una experiencia en medios de comunicación, estoy de acuerdo en que el uso de herramientas visuales durante el proceso de evaluación permite contar una historia más convincente después de que la evaluación se ha completado (y publicado) - o mientras se está llevando a cabo, para el caso.

En cuanto al aprendizaje, la Oficina de Evaluación del PMA ha realizado una encuesta entre las partes interesadas en la evaluación sobre los productos de comunicación y el uso de las pruebas. A continuación se exponen algunas conclusiones:

• Sobre la cuestión de cómo canalizar, empaquetar y presentar mejor los datos para que resulten útiles, el 31% de los destinatarios indicaron informes más breves con un lenguaje más sencillo, el 28% destacaron el alcance, con preguntas y resultados más pertinentes, el 17% destacaron los procesos, el 10% la accesibilidad y la canalización, el 9% la variedad con productos más adaptados y el 5% indicaron la puntualidad.
• En general, los productos de evaluación más breves (como los informes de evaluación resumidos) obtuvieron una calificación de utilidad mucho más alta que los informes de evaluación completos: 81% frente a 58%.
• Los productos como los resúmenes y las infografías obtuvieron un mayor índice de utilidad entre los directores y altos directivos.
• Aunque de los resultados se desprende claramente la necesidad de textos más breves, cuando se les preguntó por el formato preferido para recibir la información de evaluación, la mayoría de los encuestados siguieron indicando la lectura (74%), seguida de la comunicación oral (65%), el vídeo (56%) y el audio (39%).

Traducir la información de la evaluación a un lenguaje visual requiere conocimientos especializados que podrían ser específicos del contexto y sensibles a la cultura. Soy una gran defensora del uso de la visualización en los procesos y productos de evaluación; sin embargo, es importante tener en cuenta que determinados públicos pueden seguir necesitando información basada en texto (utilizando la visualización como ayuda al mensaje), mientras que otros pueden preferir recibir todo el mensaje en un formato visual. Por lo tanto, es fundamental comprender las necesidades específicas de información del público para lograr el propósito y el uso de la evaluación.

Gracias de nuevo por las excelentes contribuciones de todos a este foro.

Para ayudar a los que aún no han utilizado herramientas visuales, y para darnos al resto algunas ideas de lo que podríamos hacer para ampliar y profundizar nuestro uso de las herramientas visuales, sería estupendo compartir cualquier recurso útil que conozcamos: herramientas, recursos, contactos... Podemos recopilarlos y ponerlos a disposición en Evalforward después de que se cierre este debate.

Para empezar, he aquí algunos que me han resultado útiles:

Directrices (publicaciones/vídeos/sitios web):

• ¿Puede el pensamiento visual facilitar la evaluación? El enfoque innovador del PMA en los talleres de validación. Guía práctica útil con tres vídeos que ilustran el proceso: https://www.evalforward.org/index.php/es/blog/visual-thinking 
• Vídeo Evaluvision O descargue aquí la guía EvaluVision - En inglés 
• Existe un grupo EvaluVision en Linked in.
• The Graphic Facilitator's Guide - Brandy Agerbeck (www.loosetooth.com) - en inglés
• Visual Meetings - David Sibbet (2010) (https://davidsibbet.com/visual-meetings-book/) - en inglés

Herramientas

Videoscribe es una herramienta muy fácil de usar que puedes utilizar para crear animaciones cortas de pizarra (hay una versión de prueba gratuita) https://www.videoscribe.co

Netmap - para el análisis participativo de redes sociales Caja de herramientas NetMap: https://netmap.wordpress.com/about/ 

Servicios

El Foro Internacional de Profesionales Visuales cuenta con una red de profesionales en todos los continentes. Visite https://ifvp.org para encontrar un profesional cerca de usted.

Estimados todos, 

Como mencionaba Harvey García en un comentario anterior, el Análisis de Redes Sociales (ARS) es una herramienta interesante para las evaluaciones. Actualmente formo parte de un equipo que trabaja con la función de evaluación del CGIAR. Estamos evaluando la Plataforma de bancos de genes del CGIAR y planificando un ARS que ayudaría al CGIAR y a los bancos de genes a identificar nodos/actores/socios clave y estudiar sus relaciones y patrones de interacción para explorar hasta qué punto ha sido relevante y eficaz la Plataforma de bancos de genes y hasta qué punto la plataforma ha satisfecho las necesidades de sus usuarios y socios.

El ARS se utiliza a menudo para analizar y mejorar los flujos de comunicación dentro de las organizaciones o con su red de socios. Es útil en la visualización de datos para descubrir patrones en las relaciones e interacciones.

En el caso de esta evaluación específica, el análisis proporcionará información útil para evaluar los flujos de comunicación existentes y cómo pueden utilizarse estas relaciones para reforzar el funcionamiento de la organización y/o la iniciativa del CGIAR.  

En la presente evaluación, el ARS ayudará a:

• Identificar los nodos clave/centrales (socios, en el presente estudio) de la red que pueden ser clave para impulsar los objetivos de la organización de forma eficaz y eficiente. 
• Mejorar los flujos de comunicación con y dentro de los socios del CGIAR.
• Identificar las relaciones y los puntos fuertes de estas relaciones entre los socios, que pueden ayudar a ahorrar tiempo y esfuerzo a la hora de impulsar iniciativas e identificar los caminos óptimos.
• Comprender el flujo de información dentro de la red e intentar construir flujos preferentes.
• Aplicar esquemas de visualización intuitivos para representar las relaciones y su fuerza, densidad y reciprocidad. Las técnicas de visualización de datos de ARS atraviesan los datos ruidosos de las redes sociales y revelan las partes de la red a las que hay que prestar atención. La figura de este blog copiada a continuación es un ejemplo de cómo se presentaría visualmente el ARS.

Las preguntas para calcar los patrones de las interacciones e identificar los puntos fuertes de las relaciones se incorporarán al cuestionario en línea o a las entrevistas utilizadas para la evaluación y se analizarán utilizando Gephi o cualquier otra herramienta de ARS en línea como Pajek o UCINET.

Estimada Harriet,

Muchas gracias por enviarnos su imagen visual.

Actualmente estoy trabajando en el establecimiento de un marco de evaluación para los tribunales del estado de Victoria, Australia. Su diagrama ofrece una excelente visión general de cómo puedo conceptualizar el marco, ya que considero las lagunas existentes, la creación de capacidad y el crecimiento de una cultura general de evaluación y toma de decisiones basada en pruebas. Sin duda, la herramienta visual me ha hecho comprender el mensaje.

Muchas gracias de nuevo.

Las herramientas visuales desempeñan un papel fundamental en la mejora de la comunicación y el compromiso de los evaluadores. Estas herramientas proporcionan un valioso apoyo al mejorar la claridad y la comprensión de información compleja. Las evaluaciones a menudo implican trabajar con datos extensos o intrincados, y las ayudas visuales como cuadros, gráficos e infografías permiten a los evaluadores presentar estos datos en un formato más accesible. Al visualizar los datos, los patrones, las tendencias y las relaciones se hacen más evidentes, lo que permite a los evaluadores comunicar eficazmente sus conclusiones a las partes interesadas.

Además, los evaluadores suelen analizar sistemas o procesos complejos. En estos casos, las herramientas visuales como diagramas, organigramas y modelos conceptuales resultan muy valiosas. Estas representaciones visuales ofrecen una comprensión más clara de las interdependencias entre los diversos elementos del sistema, lo que facilita los debates y la colaboración entre las partes interesadas. Al proporcionar un lenguaje común y un punto de referencia visual, estas herramientas ayudan a transmitir la información con eficacia y a implicar más activamente a las partes interesadas.

Además, las herramientas visuales contribuyen a la narración de historias y a las técnicas narrativas durante la elaboración de informes de evaluación. La incorporación de elementos visuales como imágenes, ilustraciones o vídeos en las presentaciones y los informes aumenta su impacto, haciendo que las conclusiones sean más atractivas y memorables. Aprovechando la narración visual, los evaluadores pueden transmitir eficazmente su mensaje, evocar emociones y captar la atención de las partes interesadas, lo que se traduce en un mayor compromiso y comprensión de los resultados de la evaluación.

Los procesos de evaluación participativa pueden beneficiarse considerablemente de las herramientas visuales. Técnicas como los mapas mentales, los mapas conceptuales y las visualizaciones colaborativas promueven la participación activa de las partes interesadas. Estas herramientas facilitan los debates en grupo, las sesiones de lluvia de ideas y los ejercicios de creación de consenso. Al alentar la expresión de diversas perspectivas y fomentar un sentido de propiedad entre los participantes, las herramientas visuales mejoran el compromiso y la colaboración.

En conclusión, las herramientas visuales son una ayuda esencial para los evaluadores, ya que les permiten comunicar información compleja de forma más eficaz e implicar a las partes interesadas. Mediante la visualización de datos, los modelos conceptuales, las técnicas narrativas y los enfoques participativos, las herramientas visuales mejoran la comprensión, promueven la colaboración y aumentan el impacto de las evaluaciones. Al aprovechar el poder de los elementos visuales, los evaluadores pueden transmitir eficazmente sus conclusiones, captar la atención de las partes interesadas y facilitar debates y procesos de toma de decisiones significativos.

¡Estoy disfrutando de la discusión hasta ahora!

Estimado Ram, 

Te agradezco este interesante tema que me retrotrajo a un periodo entre 1996 y 2002 en el que acumulé una gran experiencia práctica con el uso de herramientas participativas en el desarrollo comunitario, y por tanto descubriendo la filosofía de participación de Robert Chambers. Implicar a los beneficiarios del desarrollo en la elaboración ellos mismos de mapas sociales y de recursos, mapas de movilidad/históricos y transectos, etc. no fue tan fácil, ya que éramos un equipo de especialistas en I+D comunitario y participativo que intentaba aplicar la filosofía de Robert Chambers en su sentido más profundo, es decir NO ES EL HECHO DE UTILIZAR HERRAMIENTAS PARTICIPATIVAS LO QUE NOS HACE "ORIENTADOS A LA PARTICIPACIÓN", SINO LA FORMA DE UTILIZARLAS. Y esa manera fue, para nosotros, no hacer hablar a los beneficiarios del desarrollo para luego nosotros localizar su información en una herramienta participativa, sino más bien formarles en el uso de esas herramientas y luego ayudarles en el ejercicio de campo mientras dibujan algunas de esas herramientas. Y así fue como aprendimos de ellos (SÍ, aprendimos de ellos antes de que ellos empezaran a aprender de nosotros) y comprendimos muy bien su mentalidad y sus pensamientos. Aunque más tarde volvimos a recoger toda la información necesaria en algunos mapas geográficos para que las cosas quedaran más claras e incluimos todas las herramientas dibujadas por los beneficiarios como partes (o anexos) de nuestros informes.

Y para concluir, no es inútil volver a decir que las herramientas participativas son buenos instrumentos de visualización para potenciar la participación y la comunicación de los beneficiarios en todas las actividades de desarrollo.

Saludos cordiales

Mustapha Malki, Doctor

Especialista MEL
 

Estimados colegas

Creo que las herramientas visuales pueden hacer que los datos sean más accesibles y comprensibles para las partes interesadas que no son expertas en la materia. Esto puede ayudar a fomentar la transparencia y el compromiso en el proceso de evaluación.

Sin embargo, aunque hablemos de evaluación visual, necesitamos indicadores que definan realmente qué es la herramienta visual y cuál es su papel e importancia. 

Layepresi

ablayegaye462@gmail.com

Estimado Daniel,

Estamos de acuerdo en general en algunos puntos relativos a la evaluación. Pero en cuanto a tu punto, ¿"evaluaciones" encargadas y pagadas por el gobierno liberiano que evalúan el rendimiento de los donantes, incluida la FAO en el sector agrícola?

Hasta donde yo sé, creo que nuestro gobierno está realizando algún tipo de evaluación del rendimiento de los donantes. Estas evaluaciones abarcan todos los sectores, incluida la agricultura. La más reciente fue el "Examen conjunto de los resultados de la cartera sectorial", celebrado del 19 al 29 de junio de 2023. La revisión hace balance de todas las intervenciones en diferentes sectores en relación con las prioridades del gobierno. El ejercicio es un enfoque holístico para evaluar el rendimiento sectorial que abarca a todos los donantes. https://frontpageafricaonline.com/news/government-of-liberia-collaborat…)

Además, el Ministerio de Finanzas y Planificación del Desarrollo cuenta con un sistema para evaluar a los PI durante su reacreditación. Los técnicos realizan una evaluación de las intervenciones anteriores, como requisito previo para obtener la acreditación, e incluso la autorización sectorial.

Gran observación, Ram... ¿puedo sugerir que las evaluaciones mecánicas están al servicio del rendimiento mecánico y no de la rendición de cuentas? (especialmente si aspiramos a rendir cuentas a los principales interesados... y a los donantes atentos)

Estimados todos,

Muchos colegas han mencionado la utilidad de las herramientas visuales para mejorar la comunicación.

Me hago eco de la utilidad de este enfoque. He observado que las herramientas visuales -el lenguaje con claridad universal- ayudan a comunicar (durante la evaluación y después de ella) con facilidad, ya que las herramientas abordan las barreras lingüísticas con múltiples niveles culturales y de alfabetización entre los grupos. Esto es más útil a la hora de implicar a los beneficiarios del desarrollo. Según mi experiencia, la gente se vuelve más cooperativa, entiende el contexto y el objetivo con facilidad y ayuda a crear una concienciación rápida, una mejor respuesta y un aprendizaje cruzado.

Pero, en muchos casos, estas evaluaciones se convierten en un proceso mecánico con un largo informe escrito (con el llamado inglés avanzado que generalmente no entienden muchas de las partes interesadas) que sirve para rendir cuentas pero no para aprender. En la evaluación participativa, tengo cierta experiencia en el uso de herramientas visuales como mapas de recursos sociales, diagramas de Venn, mapas de movilidad/históricos y tarjetas de puntuación de la comunidad para diferentes fines. Las herramientas pueden desarrollarse en función de las necesidades/contexto, pero un uso óptimo de las mismas puede proporcionar mejores resultados.  

Saludos cordiales,

Ram  

Estimado Musa,

Su observación sobre la evaluación dirigida por los donantes y sus consecuencias es en gran medida correcta: las máquinas de evaluación de Dahler-Larsen.

  "La dirección, el control, la rendición de cuentas y la previsibilidad vuelven al trono. El propósito de la evaluación ya no es estimular debates interminables en la sociedad, sino prevenirlos".

La cuestión es que los donantes las pagan y las diseñan. ¿Qué dice esto de la capacidad de evaluación de las agencias donantes? Y no me refiero a la experiencia académica en metodología (el lado de la oferta), sino a la política del lado de la demanda.  

Por ejemplo, la función de evaluación del DFID, ahora FCDO, nunca ha sido independiente, sino que ha estado oculta bajo la función más amplia de investigación, con las inevitables consecuencias. Tony Blair se enorgullecía de su falta de adaptabilidad al no tener marcha atrás ni cambiar de rumbo. No es de extrañar que una revisión independiente calificara al DFID como rojo en aprendizaje y descubriera que: 

"El personal informa de que a veces se les pide que utilicen pruebas de forma selectiva para justificar decisiones". 

A menudo son las organizaciones más rígidas y burocráticas las que se felicitan por ser una organización que aprende. Esto ocurrió, no porque el DFID no tuviera un personal excelente y competente, sino más bien debido a cómo los poderosos imperativos políticos e institucionales desplazan el tiempo para pensar, reflexionar y ser honesto. 

Como apunte, ¿conoce alguna "evaluación" encargada y pagada por el gobierno liberiano que valore la actuación de los donantes, incluida la FAO, en el sector agrícola?

Estoy de acuerdo con Silva Ferretti en que las evaluaciones no son los largos informes que escribimos. Por desgracia, los informes largos siguen siendo los principales productos esperados. Creo que esto se debe a que estamos utilizando las evaluaciones como un requisito de los donantes en lugar de para nuestros propios fines de aprendizaje, y como una herramienta para mejorar. En el momento en que dejemos de ver las evaluaciones como una exigencia de los donantes, empezaremos a ser más inclusivos y participativos en todos nuestros procesos de evaluación, incluido el desarrollo de procesos que sean más inclusivos para todos. En realidad, hago hincapié en las personas que no entienden el significado de 25% y 40%.

Estimada Harriet, 

Muchas gracias por suscitar este debate y, como ha dicho Paul, por los enlaces a ejemplos concretos. Realmente útiles. 

Me gustó el ejemplo del trabajo con Financial Services Deepening Kenya (FSD) Kenya en Marsabit y cómo implicó FSD Kenya la intermediación de asociaciones con CARE y Equity Bank [enlace aqui]. (Sería interesante saber, dado que todo empezó en 2016, en qué medida les va a los grupos de Marsabit y si siguen dependiendo del subcontrato de CARE con FSD Kenia. En cuanto al Equity Bank, me pregunto si los productos de ahorro que vendieron a los grupos han encontrado "mercados" más allá de Marsabit).

Por otra parte, quería compartir mi primera experiencia en el uso de herramientas visuales, a principios de los años 90 en Bangladesh, en un proyecto de irrigación. Responden a sus dos primeras preguntas.

Lo hago por dos razones. En primer lugar, estoy de acuerdo con Silva Ferretti en que el uso de herramientas visuales no se limita a comunicar el "resultado" de una evaluación, sino que también forma parte integrante del proceso, como dice Kombate en relación con la recopilación y el análisis de datos. En segundo lugar, Harvey hace referencia al uso de SIG y de imágenes Landsat TM.

Nosotros "medimos" la superficie de regadío de determinadas comunidades a través de 'fotos' / imágenes Landsat del país durante un periodo de tres años. Descubrimos cómo las superficies de regadío variaban significativamente entre comunidades en el mismo año y a lo largo del tiempo para la misma comunidad. Queríamos averiguar por qué. En lugar de quedarnos en la oficina, dibujamos a mano mapas de cada comunidad a partir de las imágenes Landsat y nos los llevamos con nosotros. A través de grupos de discusión, presentamos estos mapas a cada una de las comunidades. Los debates se centraron en escuchar a los grupos hablar de por qué y cómo variaba tanto la demanda de agua de riego. Los "resultados" de estos debates no sólo aportaron lecciones para la comunidad en la gestión de las instalaciones de riego, sino también para el apoyo del gobierno local de upazilla y las implicaciones para la política nacional. Para mí, fue una lección de cómo, si quieres saber por qué y cómo responde la gente a las intervenciones nacionales, basta con preguntarles y aprender de ellos cómo toman las decisiones y por qué. Es mucho mejor esto que quedarse en la oficina y seguir manipulando datos.

Espero que lo anterior no sea una contribución demasiado concisa y burda, y gracias de nuevo.

Saludos cordiales,

Daniel

Las evaluaciones no son "informes escritos".

Las evaluaciones son procesos para comprender si el programa produce cambios (esperados e inesperados), cómo y en qué medida.

Si se adopta este punto de vista, es evidente que la comunicación ocupa un lugar central: comunicar el propósito, suscitar ideas y formular y compartir las conclusiones.

Lamentablemente, los evaluadores suelen dominar las palabras escritas y no otras formas de comunicación.

Esto limita enormemente la participación de las partes interesadas y el intercambio de conclusiones, ya que otras personas podrían preferir otros métodos de comunicación.

En mi experiencia, casi todo funciona mejor que los informes: dibujos animados, gráficos, infografías, teatro, música, multimedia, etc. (sí, los he probado todos).

(Sí, los probé todos y fueron bien recibidos por todo tipo de partes interesadas, incluidos los donantes).

Los evaluadores no deben limitarse a pensar en "informes". Deben pensar en la mejor combinación de diferentes formas de comunicación.

Las personas analfabetas pueden entender perfectamente los elementos visuales, si están bien diseñados.

Las cajas de herramientas participativas contienen ideas para mostrar y discutir porcentajes mediante ayudas visuales.

En definitiva, es más probable que entiendan los elementos visuales que los informes escritos en inglés...

Por supuesto, si entendemos por "visuales" únicamente los gráficos de Excel, nos perdemos todo un mundo de posibilidades.

Y los visuales no se improvisan: igual que hay una gramática para escribir palabras, también hay una gramática y un estilo para producir visuales.

Incluso si nos referimos específicamente a los gráficos de datos, hay libros enteros sobre visualizaciones de datos, que ofrecen ejemplos (y también ponen de relieve los posibles problemas de falta de comunicación).  Un elemento visual sencillo puede llegar muy lejos. Pero una buena visualización no es sencilla de hacer.

En definitiva, vayamos más allá de la palabra escrita. Pero recordemos que esto no se improvisa.

Gracias por esta iniciativa, Harriet, y agradezco los enlaces a otros materiales. 

Tal vez yo sea de una generación diferente, ya que me inculcaron la visualización y el uso de multimedia durante todo el ciclo del proyecto para fomentar la inclusión y la participación. 

Lo fundamental sigue siendo: ¿cuántas veces se realizan encuestas de aprendizaje? Actualmente estamos haciendo recomendaciones para examinar el uso de los estilos de aprendizaje dentro de una organización, llevar esto más lejos y examinar las diferentes partes interesadas y cómo regresan. Mis propios retos internos surgieron cuando nuestra hija fue a una escuela Aga Khan, donde nosotros, como padres, tuvimos que analizar cómo nos comunicábamos y aprendíamos y si "imponíamos" enfoques de aprendizaje que no encajaban con el estilo natural por defecto de los niños. 

Lo mismo ocurre con la forma en que seguimos enviando puntos sin establecer los circuitos de retroalimentación. Examinar los estilos de aprendizaje, individualmente y dentro de la comunidad (práctica o social) y, a continuación, construir el estilo de comunicación capaz de ofrecer impacto. Va más allá del texto plano -¿has visto venir al pollo amarillo? - o la visualización para percibir y sentir cómo miramos, vemos, hablamos, escuchamos y sentimos lo que queremos enviar y recibir. 

Estoy deseando seguir leyendo y escuchando para tener la sensación de que esto fomentará la reflexión y la acción.

Paul

Saludos
He leído con cierto interés el correo electrónico original sobre este tema y las primeras respuestas. Sin embargo, estoy un poco perplejo: es obvio que cualquier evaluación sólo puede realizarse en relación con un objetivo determinado. Para mí, el único objetivo justificable de una evaluación es determinar si un proyecto, programa, etc. puede alcanzar o ha alcanzado la finalidad prevista con respecto al grupo destinatario.  Dicho grupo puede ser un grupo de estrategas, de diseñadores de operaciones o de trabajo de campo.

Por lo que veo, es difícil comprender cómo puede visualizarse dicho objetivo: llegar a la población destinataria. Sin tal ancla, las visualizaciones quedarían a la deriva como un barco con avería de motor en un mar tempestuoso.
Salud.
Lal Manavado.

Soy un nuevo miembro de este importante foro y grupo de profesionales. Interesante punto de debate: ¿Las herramientas visuales pueden ayudar a los evaluadores a comunicar e interactuar mejor?

No me cabe duda de que las visualizaciones son herramientas importantes para comunicar y comprometerse mejor, especialmente con las partes interesadas. Lo único que me preocupa es qué tipo de visualización y con qué partes interesadas. Por ejemplo, en mi país, Liberia, donde la gran mayoría de las partes interesadas, y en concreto los beneficiarios, son analfabetos. Por supuesto, la presentación de tablas, gráficos y porcentajes no tiene sentido y no les comunica nada. Se supone que una evaluación debe promover la rendición de cuentas. Esto nos impone la responsabilidad explícita, como profesionales de la evaluación, de compartir con nuestros beneficiarios (me refiero a los analfabetos). Los gráficos, tablas y otras ayudas visuales pueden no comunicar nada sustancial a estas personas. Por ejemplo, el 25% y el 40% de los gráficos y tablas no tienen ningún significado para ellos. Se necesitan innovaciones extra para incluir a estas personas entre las partes interesadas que deben participar en la difusión de los resultados de la evaluación. He realizado una prueba piloto para compartir los resultados de la evaluación con este grupo de personas sin utilizar gráficos ni tablas.

Gracias, Kombate, por este magnífico resumen de las ventajas de utilizar herramientas visuales. Es muy interesante saber cómo los miembros de nuestra comunidad utilizan estas herramientas para mejorar el proceso de evaluación y comunicar los resultados. Los mapas de redes sociales me han resultado muy útiles para trabajar con las partes interesadas y comprender y comprender mejor las asociaciones y los flujos de comunicación. Los mapas de redes sociales también se pueden utilizar para comunicar estos conocimientos de manera eficaz. Merece la pena echar un vistazo a los mapas del informe que ha compartido Harvey.

Me interesa saber que tanto el PNUD como la JICA están incluyendo el GIS (mapeo y datos satelitales) en las evaluaciones y descubren que esto mejora la calidad de la evaluación (para la planificación, como una capa adicional de evidencia y para comunicar los hallazgos). ¿Quizás haya aquí implicaciones para la formación y los recursos que necesitamos poner a disposición de nuestros equipos de evaluación para que puedan beneficiarse de estos enfoques?

Si alguien está interesado en algunos consejos prácticos y herramientas para el mapeo de redes sociales en sus evaluaciones, eche un vistazo a la caja de herramientas Net-Map https://netmap.wordpress.com/about/ . ¿Alguien del grupo lo ha utilizado?

Gracias Isha por hablarnos del creciente uso de imágenes en los informes de la JICA. He encontrado un buen ejemplo de resumen visual de sus evaluaciones de proyectos aquí https://www.jica.go.jp/Resource/english/our_work/evaluation/reports/2021/iu2gj8000000ompj-att/glance_2021.pdf 

Keisuke, su trabajo sigue siendo una fuente de inspiración para mí. Es muy agradable ver cómo es el éxito del PMA en Filipinas. Me gusta la idea de crear un concurso de colorear para que mucha gente (y niños también) lo vean de cerca. Involucrar a artistas locales en el proceso de visualización de la evaluación es también una gran idea.  Por favor, comparta el vídeo con nosotros cuando esté listo.

Esperamos recibir más experiencias del grupo.

Harriet

Estimada Harriet,

Muchas gracias por iniciar un debate que me interesa mucho.

Permítame compartir el último desarrollo de EvaluVision del PMA, que usted amablemente compartió como ejemplo. Tras intentar sentar las bases de la metodología, EvaluVision se centra ahora en encontrar y reforzar el talento local. El PMA Nepal organizó un taller con las partes interesadas para debatir un estudio de referencia del programa de alimentación escolar. Trabajé con un artista local para compartir la metodología general de EvaluVision. En este momento se está editando un vídeo documental, así que quizá pueda compartirlo antes de que se cierre el debate.

Además de EvaluVision, hace poco me pidieron que ayudara a varias oficinas nacionales del PMA a visualizar la Teoría del Cambio. Después de pasar por varios talleres técnicos para formular la TdC, se sugirió hacer un visual de una página sin términos técnicos. Propuse que, tras redactar una ilustración, se organizara un concurso de colorear en el que pudiera participar cualquier miembro del personal o su familia. La ganadora fue la hija del personal del PMA.  Me doy cuenta de que esto se parece más a un tablero de visión que a una Teoría del Cambio, pero ayuda a explicar el propósito general (cómo es el éxito) y cómo llegamos a él. Más detalles y la entrada ganadora en un post de LinkedIn aquí

Otro uso, como sabiamente ha señalado Harvey García en entradas anteriores, es un cruce de evaluación y análisis de datos. Veo un gran potencial en el uso de los macrodatos para la evaluación. No soy un científico de datos que pueda compartir muchas ideas, pero permítanme compartir un resumen gráfico de un debate muy interesante sobre evaluación e inteligencia artificial organizado por el Banco Europeo de Reconstrucción y Desarrollo (BERD) el año pasado. Supongo que no es un futuro tan lejano cuando la IA creará un dibujo resumido si subes un informe de evaluación de 100 páginas. (¿o tal vez ya existe una herramienta de este tipo?)

Saludos,

Keisuke

Keisuke Taketani 
Graphic Facilitation and Design
www.keisuketaketani.com

Son muchos los beneficios de la utilización de herramientas visuales

Los elementos más cruciales son 

1. Visualización de datos. En términos de recopilación de datos cualitativos utilizando procedimientos de recopilación de datos. 
2. Visuales basados en pruebas para presentar los hallazgos en términos de actividad y resultados concretos, así como de consecuencia e impacto. Por ejemplo, el impacto de una pandemia o el control de una enfermedad específica en los sectores agrícola y sanitario, o los esfuerzos de consolidación de la paz.  
3. Diagramas, detección de plagio, retroalimentación y evaluación por pares, encuestas (TV, medios sociales y grabación de entrevistas a informantes clave) y sondeos en el aula en términos del contexto de la educación.
4. Informe visual - Resultados - Positivos y negativos. Por ejemplo, la mayoría de los informes de la JICA (Agencia de Cooperación Internacional de Japón) se combinan con imágenes. 
5. También proporcionan a los usuarios flexibilidad y diversidad al permitirles seleccionar entre una amplia gama de elementos gráficos, formatos y estilos y adaptarlos a sus gustos y objetivos.

Los retos son: Las encuestas en línea necesitan la rendición de cuentas de los datos y la identificación del encuestador y el encuestado. 

Hola Colegas,

Un tema muy interesante.  Creo que las herramientas visuales en la práctica de la evaluación están subutilizadas y son en su mayoría una idea de último momento después de que el informe de evaluación se ha producido, lo que no debería ser el caso. Bueno, creo que ahora hay un renovado interés en el uso de la visualización de datos para comunicar no sólo los resultados de la evaluación, sino también el proceso. La visualización también se utiliza ahora para planificar, recopilar y añadir otra capa de pruebas en una evaluación. Recuerdo que, cuando trabajaba en la Oficina de Evaluación de la FAO, utilizábamos el Análisis de Redes Sociales ( SNA, por sus siglas en inglés) como herramienta de visualización para identificar y priorizar a las partes interesadas para las entrevistas con informantes clave y también para evaluar el posicionamiento de la FAO https://www.fao.org/3/i8564en/I8564EN.pdf. En la oficina de evaluación independiente del PNUD, también empezamos a utilizar el SNA para los países con situaciones de crisis humanitaria, ya que el acceso y el tiempo sobre el terreno para llevar a cabo actividades relacionadas con las evaluaciones son limitados.

El GIS es también una forma de herramienta visual. Su uso en la evaluación es bastante limitado y se observa sobre todo en las evaluaciones de proyectos y en algunas evaluaciones temáticas (principalmente relacionadas con la silvicultura y las infraestructuras). En la evaluación de programas multitemáticos (es decir, la evaluación de programas nacionales), su aplicación no se ha maximizado plenamente. En la Oficina de Evaluación Independiente del PNUD, hemos empezado a incorporar el uso del GIS como herramienta de visualización de datos para planificar evaluaciones, aportar pruebas y comunicar nuestras conclusiones a las partes interesadas. Nuestro último Programa de País Independiente en Camboya destaca el uso del GIS. De hecho, publicamos nuestra experiencia en la primera edición de la revista Asia Pacific Evaluation Journal. Aquí está el enlace al artículo:

https://drive.google.com/file/d/10LeQeCEC8ee2Kn6FTGAbLaau7cEphknQ/view&…;

Harvey John D. Garcia, Especialista superior en evaluación

Oficina de Evaluación Independiente, PNUD

Hola Harriet

Soy Kombate, un joven evaluador de Togo (un país de África occidental).

He leído atentamente tu correo en el grupo evalforward, y me gustaría compartir contigo mi opinión sobre las herramientas visuales en la evaluación (no soy una experta. Sólo comparto mi opinión, teniendo en cuenta mi pasión por la visualización de datos).

1- Utilizar herramientas visuales en las evaluaciones como un plus puede

-  Aumentar la comprensión y el compromiso:
Las herramientas visuales pueden ayudar a las personas a comprender información compleja más fácilmente y a comprometerse con ella más profundamente. Esto se debe a que apelan a nuestra tendencia natural a procesar la información visualmente.
- Mejorar la comunicación:
Las herramientas visuales pueden ayudar a comunicar los resultados de la evaluación de forma más clara, concisa y atractiva. Esto puede ser especialmente útil cuando se comunica con partes interesadas que pueden no estar familiarizadas con la terminología o los conceptos de la evaluación.
- Mejorar la colaboración:
Las herramientas visuales pueden utilizarse para facilitar la colaboración entre las partes interesadas en la evaluación. Esto se debe a que proporcionan un lenguaje y un marco comunes para debatir los resultados de la evaluación.
- Aumentar el impacto:
Las herramientas visuales pueden ayudar a aumentar el impacto de las evaluaciones haciéndolas más accesibles y memorables. Esto puede mejorar la toma de decisiones y los resultados.

2- Tipos de evaluación/etapas de la evaluación más adecuadas para el uso de herramientas visuales

Las herramientas visuales pueden utilizarse eficazmente en todas las etapas del proceso de evaluación, desde la planificación y el diseño hasta la ejecución y la elaboración de informes. Sin embargo, son especialmente adecuadas para su uso en las siguientes etapas:

- Planificación y diseño:
Las herramientas visuales pueden utilizarse para aclarar las preguntas de evaluación, identificar el público destinatario y desarrollar el plan de evaluación.
- Recogida de datos:
Las herramientas visuales pueden utilizarse para recopilar datos de las partes interesadas, por ejemplo, mediante entrevistas, grupos de discusión y encuestas.
- Análisis de datos:
Las herramientas visuales pueden utilizarse para analizar y visualizar datos. Esto puede ayudar a identificar modelos y tendencias, y a comunicar las conclusiones a las partes interesadas.
- Elaboración de informes:
Las herramientas visuales pueden utilizarse para crear informes más atractivos y fáciles de entender. Esto puede ayudar a aumentar el impacto de la evaluación.

3- Otras ideas o preocupaciones sobre el uso de herramientas visuales

- Es importante elegir la herramienta visual adecuada:
Hay muchos tipos diferentes de herramientas visuales, y cada una tiene sus propios puntos fuertes y débiles. Es importante elegir la herramienta adecuada para el objetivo de la evaluación.
- Es importante asegurarse de que las herramientas visuales sean accesibles para todas las partes interesadas:
Esto significa utilizar un lenguaje claro y sencillo, y evitar la jerga. También es importante tener en cuenta el contexto cultural de las partes interesadas.
- Es importante ser consciente de las limitaciones de las herramientas visuales:
Las herramientas visuales pueden ser una forma eficaz de comunicar información, pero no pueden sustituir la necesidad de un texto escrito claro y conciso.

Best regards.

Kombate Nawanti 
Project analyst at ShARE
Master Degree in Monitoring and Evaluation
Republic of Togo