Informar sobre los resultados de las evaluaciones y ayudar a los usuarios a aprovecharlos

Estimados todos,

Gracias por las contribuciones perspicaces y muy útiles a este debate que inicié. Gracias también por completar la encuesta; hemos recibido 70 respuestas de evaluadores. Este debate ha sido muy rico y, como parte del intercambio continuo de conocimientos, sintetizaremos las contribuciones, analizaremos las respuestas de la encuesta y publicaremos un artículo en el blog en los próximos días, que creo que les resultará útil. Estén atentos a la publicación del blog en el sitio web de EvalForward.

Thank you! Asante! Merci! Gracias! Grazie! शुक्रिया, ඔබට ස්තුතියි, நன்றி, Salamat, Takk skal du ha, Bedankt, Dankeschön ...

Estoy de acuerdo con los comentarios anteriores de John y Silva. 

La responsabilidad de los evaluadores es dar recomendaciones, no soluciones. Pero las recomendaciones ayudarán a las "soluciones". 

Lo que falta en la práctica de la evaluación es  

a. La mayoría de las recomendaciones son poco realistas y no son realizables. 

b. Es hora de que los evaluadores cultiven una visión de futuro. 

c. Los resultados y las recomendaciones deben tener en cuenta el programa (de forma holística).

d. Los evaluadores deben diseñar sus propios indicadores de evaluación y esto debe incluirse en los términos de referencia. 

De mon point de vue, l'impact le plus important des évaluations est l'orientation qu'elles fournissent aux projets futurs en les guidant dans leur évolution pour mieux servir les bénéficiaires visés. Malheureusement, au moins pour les projets de développement de la petite agriculture, les évaluations sont devenues un mécanisme de propagande des projets, indépendamment de la mesure dans laquelle les bénéficiaires s'y fient ou non.

Dans une certaine mesure, cela est nécessaire car le coût initial pour faire passer les projets de la conception au contrat de mise en œuvre et enfin à l'opportunité de discussions détaillées avec les bénéficiaires peut représenter quelques millions de dollars et plus de deux ans de temps et d'efforts considérables par une multitude de personnes. Avec de tels coûts initiaux, avant que le responsable de la mise en œuvre n'ait la possibilité de mener des entretiens détaillés avec les bénéficiaires afin de déterminer pleinement leurs besoins, personne ne veut apprendre que les bénéficiaires n'étaient pas vraiment intéressés par l'activité et qu'ils évitaient le projet pour diverses raisons valables.

Cependant, lorsqu'ils sont utilisés plus à des fins de propagande que d'orientation, l'organisme de mise en œuvre peut en tirer quelques avantages en termes d'extension du projet et de projets futurs, mais aucun avantage réel pour les bénéficiaires. Au lieu de cela, les projets qui, selon la plupart des normes, seraient considérés comme un échec, deviennent plus profondément ancrés dans les futurs projets de développement, réduisant tout effort d'ajustement des projets et gaspillant des montants massifs d'investissements de développement qui pourraient être mieux utilisés dans une approche alternative.

Veuillez consulter la page web suivante :

https://agsci.colostate.edu/smallholderagriculture/appeasement-reportin…

Pour éviter qu'un effort d'évaluation ne devienne un outil de propagande plutôt qu'une orientation pour de futurs projets, il faut peut-être davantage tenir compte de la manière dont les données sont analysées que de ce qui est collecté. Cela peut être aussi simple que d'éviter l'analyse agrégée en faveur d'une analyse en pourcentage. Lorsqu'il s'agit de petits exploitants agricoles, gérant chacun un à deux hectares, on peut rapidement compter un nombre impressionnant de participants individuels et obtenir une bonne évaluation de propagande, mais cela ne dira rien sur ce qui serait possible. Cependant, s'il est exprimé en termes de pourcentage de bénéficiaires potentiels, le chiffre global impressionnant peut devenir très discutable. On pourrait dire la même chose de la quantité de produits commercialisés par le projet. Le volume total peut sembler impressionnant, mais s'il est calculé au prorata des membres individuels, il pourrait ne représenter qu'un petit pourcentage de leur production, voire ne représenter que des remboursements de prêts en nature, la majeure partie de leur activité allant aux personnes que le projet tente de remplacer pour offrir aux bénéficiaires de meilleures conditions commerciales. S'il était converti sur une base communautaire, ce qui est le fondement des projets de développement, ce montant serait presque insignifiant.

 Le véritable besoin d'une évaluation est, avant de commencer l'évaluation, de développer une série d'objectifs pour ce qui séparerait le succès de l'échec et de le faire en pourcentage plutôt qu'en nombre global. Il s'agirait du pourcentage de l'activité des agriculteurs participant au programme, ou du pourcentage des produits des agriculteurs commercialisés par le projet, ainsi que du pourcentage des produits des communautés commercialisés par le projet. Par exemple : 70 % de l'activité des agriculteurs participant au lieu de 150 agriculteurs impliqués, ou 80 % de la production de maïs commercialisée par le projet avec seulement 20 % de ventes secondaires. Cela pourrait facilement donner une perspective très différente de la façon dont le projet a été reçu et sur lequel les petits exploitants bénéficiaires se sont appuyés, et entraîner des ajustements majeurs aux futurs projets qui serviraient mieux les bénéficiaires.

Veuillez consulter les pages web suivantes :

https://agsci.colostate.edu/smallholderagriculture/mel-impressive-numbe…

 https://agsci.colostate.edu/smallholderagriculture/perpetuating-coopera…

https://agsci.colostate.edu/smallholderagriculture/request-for-informat…

Nous vous remercions

Estimado Silva

Eso está muy bien dicho, y señala el valor integral, y los valores de un evaluador. A menudo veo nuestro papel como facilitador y traductor para entender el lenguaje del contexto, la cultura y la experiencia y traducirlo al lenguaje de las teorías técnicas, las instituciones, los recursos y la toma de decisiones, con la esperanza de fortalecer la conexión, la comprensión y el flujo positivo entre ellos para facilitar los patrones y las soluciones que surgen. 

Gracias por tomarse el tiempo de hacer tan buena explicación.

Saludos cordiales 

¡Saludos!

Con demasiada frecuencia, las personas que se dedican a un campo, empiezan a perder el "todo" debido a su propia especialización. Es muy fácil no ver el bosque por una especie concreta de árbol, arbusto o mata. Este reductivismo es demasiado familiar para la mayoría, y algunos incluso han inventado una nueva frase para describirlo, a saber, "pensar en silos".

Tal vez, alguien que no esté agobiado por la experiencia de un campo específico podría ver lo que se le podría haber escapado a un profesional. Al fin y al cabo, Shakespear y James Watt no asistieron a cursos universitarios en sus áreas, pero consiguieron mucho. Así pues, un humilde evaluador podría ver lo que se le ha escapado a un experto con metros de experiencia.

Salud.

Lal.

Hola

Practico la humildad haciéndome una pregunta diferente:

Si las personas que llevan mucho tiempo trabajando en un tema, con un conocimiento mucho mejor del contexto no encontraron una buena solución... ¿cómo podría hacerlo yo, un evaluador externo?

Como evaluador no puedo ciertamente encontrar soluciones, pero puedo - con un enfoque facilitador y no experto:

* ayudar a encontrar las "piezas que faltan" del rompecabezas, reuniendo, en un mismo lugar, los puntos de vista y las ideas de los diferentes actores.

* ayudar a articular y sistematizar mejor la realidad, para que la gente pueda tener un mejor mapa en el que encontrar soluciones

* captar ideas, lecciones que a menudo están implícitas y que, si se comparten, pueden ayudar a cambiar la forma de trabajar

* compartir algunas ideas sobre cosas que había visto que funcionaban en otros lugares (pero, ojo, esto lo hacía siempre en la fase de recogida de pruebas, como una forma de obtener feedback sobre estos "iniciadores de la conversación". y la gente suele encontrar rápidamente muchas cosas que revisar y mejorar)

* crear espacios, dentro del proceso, para que la gente se exponga y reaccione a las pruebas, a medida que se comparten

* identificar lo que parecen ser las preocupaciones prioritarias a tratar - relacionándolas con los retos, las oportunidades, las posibilidades surgidas.

Esto no es investigación. Y esto no son soluciones.

Hay todo un mundo de cosas entre los "problemas" y las "soluciones"... incluye aprendizajes, posibilidades, evidencias sistematizadas.

Y veo a la gente realmente interesante y dispuesta a comprometerse con estos... Mucho más que cuando solía predicarles algunas soluciones simples. :-)

Además, una evaluación no siempre pone de manifiesto los "problemas". A menudo hay muchas soluciones que quedan ocultas.

Y las evaluaciones también tienen un papel para encontrarlas y ayudar a valorar el trabajo realizado y los muchos retos resueltos, que nunca deberían darse por sentados.

Olivier Cossee dice que "los evaluadores deben proponer soluciones razonables a los problemas que plantean... lo difícil es proponer algo mejor, de forma constructiva".

Una solución razonable es, al menos implícitamente, una Teoría del Cambio. Debe ser explícita: un objetivo tentativo, un primer paso hacia el objetivo y algunos pasos intermedios. La parte más difícil es ese primer paso. Dar ese primer paso debe responder a la pregunta: "¿Podría valer la pena considerar esto?".

John Hoven

Hola Silvia y todos,

Estoy de acuerdo en que los evaluadores no son los únicos que intentan encontrar soluciones, y que los gestores de los programas y los responsables de la toma de decisiones no deberían estar libres de culpa, pero creo que los evaluadores deben proponer soluciones razonables a los problemas que plantean. 

De lo contrario, no veo su valor añadido, ni qué diferencia a la evaluación de la investigación. Además, una evaluación que evitara proponer soluciones sería, en mi opinión, un ejercicio bastante fácil y negativo: no es tan difícil detectar cuestiones y problemas, cualquiera puede hacerlo; lo difícil es proponer algo mejor, de forma constructiva. Forzarse a proponer alternativas razonables es a menudo un ejercicio de humildad, ya que obliga a darse cuenta de que "la crítica es fácil, pero el arte es difícil".

Saludos,

Olivier
 

Estimados todos, 

Estoy de acuerdo en que este es un debate maravilloso y estoy totalmente de acuerdo con Silva.

Parece una perogrullada, pero siempre he estado convencido de que los sistemas de seguimiento y evaluación deben ser propiedad del equipo del programa, de las partes interesadas y de los beneficiarios, y deben ser desarrollados por ellos. Sin embargo, durante los últimos 18 meses, me comprometí plenamente a apoyar un programa a este nivel (esto es bajo la dirección del programa) pensando que era la mayor oportunidad de todos los tiempos y que la aprovecharía al máximo.

Pero el resultado es, como mínimo, decepcionante. Tengan cuidado cuando escuchen "no queremos dispararnos en el pie, ¿verdad? ". O siempre que la comunicación oficial trate de la autopromoción/autogratificación (lo fantásticos que somos, etc.) mientras que los beneficiarios aún no son testigos de nada de lo que ocurre en su entorno directo o en su vida cotidiana. 

Creo que una de las claves es dónde encaja la evaluación en el organigrama (véase más abajo). ¿Cómo interactúan los responsables de seguimiento y evaluación a nivel de proyecto con los responsables de seguimiento y evaluación a nivel de programa, etc.? ¿Cómo interactúan los responsables de S&E a nivel de programa con cualquier oficina de evaluación a nivel de director general o cualquier "oficina de evaluación independiente" existente adscrita a la junta ejecutiva? El establecimiento de un sistema de M&E es una función de apoyo pero también de rendición de cuentas: ¿cómo se coordinan y complementan ambas funciones?

Además, ¿tenemos profesionales de M&E a nivel de proyecto pero también a nivel de las partes interesadas (gobiernos, donantes y principalmente representantes de los beneficiarios, etc.) y están todos conectados antes de que podamos decir que se ha establecido un sistema de M&E?

Una buena práctica que he visto es que el comité de dirección valide (por contrato) el sistema de seguimiento y evaluación al final del período inicial.

Otro pensamiento común es que la evaluación es un estado de ánimo más que instrumentos técnicos complejos (Lal. menciona Cómo hacer que los "planificadores" entiendan una evaluación. - lo cual es correcto, aunque a veces la evaluación no sólo se entiende espontáneamente, sino que se empuja internamente).

Entonces se corre el riesgo de una "doble condena" para los beneficiarios finales. Gestores de programas comprometidos que incluso intuitivamente abrazan la evaluación y sacan el máximo partido de ella, mientras que al mismo tiempo el ecosistema "reticente" utilizará agujeros negros en el organigrama para que la evaluación tenga lugar demasiado tarde, no esté vinculada a la toma de decisiones estratégicas y finalmente extraiga bonitos gráficos de colores con el "número de personas formadas" y las cosas habituales. 

Encantado de participar, espero que esta conversación siga adelante ;-)

Saludos, 

Sébastien 
 

Saludos.

En cuanto a la capacidad de un evaluador para sugerir un enfoque mejor para resolver un problema, creo que hay que tener en cuenta dos aspectos del asunto.

En primer lugar, una evaluación se lleva a cabo para determinar el grado de éxito de un determinado enfoque para alcanzar un objetivo predeterminado. En mi ejemplo, se trataba de mejorar la salud pública de un país sin nombre. Las autoridades políticas optaron por una unidad cardiaca ultramoderna en la capital de un país donde apenas había atención sanitaria primaria para la mayoría.

Durante la evaluación previa al proyecto, esto resultaría obvio para un evaluador que observara la realidad tal y como es, y no como un ejercicio académico. Es cierto que no siempre es tan sencillo como parece. Aun así, creo que un evaluador que no tenga miedo de aplicar su sentido común a las realidades locales existentes en un lugar determinado sería capaz de hacer algunas sugerencias sensatas sobre algunos cambios genéricos en un plan destinado a alcanzar un objetivo. El evaluador puede no ser competente para recomendar una acción específica, pero los cambios genéricos deberían estar a su alcance.

En el ejemplo de la "sanidad pública", es obvio para un evaluador informado que la atención sanitaria primaria tiene una prioridad lógica sobre una unidad cardiaca de lujo de utilidad limitada. Por supuesto, no sería competente para recomendar los pormenores de cómo puede establecerse ese sistema de atención sanitaria.

Salud.

Lal.

P.D:

Recordemos que la evaluación tiene que ver con la mejora de la calidad de vida de las personas reales de alguna manera, y no debe confundirse con una empresa abstracta que trata de entidades teóricas.

¡Esta es una discusión maravillosa! Entonces, ¿realmente necesitamos evaluaciones? ¿Por qué gastar todos los recursos para realizar evaluaciones? ¿Son entonces necesarios los evaluadores? Son preguntas que me surgen al azar después de leer este hilo. 

Saludos,

Obando 

Claridad... por supuesto, ¡absolutamente! El discurso del ascensor... sí y no.

Un discurso de ascensor es muy útil como punto de entrada.

Pero luego hay que reconocer que el objetivo de una buena evaluación es desvelar la complejidad de la realidad (sin ser complicado).

Puede dar nuevos elementos e ideas, pero no la solución.

El discurso del ascensor es el punto de entrada, pone de relieve las principales áreas que hay que abordar, y sin duda puede esbozar algunos puntos de presión.

Pero no estoy tan segura de poder ofrecer siempre una idea nítida de las posibles soluciones.

Como se dice, "para cada problema hay siempre una solución sencilla. Y es errónea".

Las soluciones hay que encontrarlas, como muy bien dijo Bob, más allá de la evaluación. (o dentro de ella sólo si es participativa, en la que los principales actores locales participan realmente en la formulación de las conclusiones, y se apropian verdaderamente del proceso)

Por lo tanto, las herramientas y los mensajes que necesitamos no son sólo los discursos de ascensor, sino que estos ayudan a transmitir y navegar por la complejidad de manera más sencilla y procesable.

Ser conscientes de que no es el evaluador el que tiene que martillear los mensajes, sino que son los actores del proyecto los que se apropian de ellos.

¡Hola a todos!

Yo también he seguido el debate con mucho interés. No puedo estar más de acuerdo con Lal sobre la necesidad de claridad, brevedad y ausencia de jerga. Hasta que no seas capaz de explicar en pocas y sencillas palabras el proyecto que has evaluado a alguien que no sabe nada de él (como tu abuela o tu tío), entonces no lo has evaluado todavía. Sólo has recogido datos, eso es todo. Todavía tienes que digerir esos datos, ver lo que significan, sintetizarlos en un diagnóstico nítido y utilizable de los problemas y las posibles soluciones. Ser capaz de resumir una evaluación en un "discurso de ascensor" claro y convincente es la clave de la utilidad. También es importante que el evaluador sea capaz de transmitir este mensaje claro una y otra vez, de forma coherente, a diferentes audiencias. 

Saludos, 

Olivier

Saludos.

He seguido este debate con interés, y me parece que lo que se intenta hacer aquí es que la evaluación debe provocar un cambio deseable en la forma en que una política/estrategia/táctica, es decir, una aplicación sobre el terreno, pretende alcanzar su objetivo. De lo contrario, la evaluación no sería más que "mucho ruido y pocas nueces". Ya sea un informe impresionante o un conjunto de gráficos coloridos. En este sentido, no puedo estar más de acuerdo con Silva.

Otros participantes ya han señalado varios obstáculos al progreso, como la conveniencia política, la incompetencia, la corrupción, la indiferencia de los responsables, la falta de recursos, la injerencia inaceptable de los donantes, etc. Todo esto supone que se ha entendido una determinada evaluación, pero...

Difícilmente podemos dar por sentado este "entendido"; creo que este es el punto que Silva está planteando aquí. Si estoy en lo cierto, la cuestión es entonces qué forma precisa debe adoptar una evaluación para facilitar esa comprensión, esperando que pueda inducir a los responsables políticos/estrategas/planificadores de campo a revisar su enfoque para alcanzar un objetivo predeterminado.

En otras palabras, la evaluación guiaría entonces la revisión del enfoque anterior hacia la consecución del mismo objetivo. Este proceso puede tener que repetirse ya que otras condiciones que influyen en la consecución de un objetivo podrían cambiar. Un ejemplo extremo de tal influencia es la actual infección de Corona.

En este caso, hemos identificado dos problemas básicos:

1. Cómo hacer que los "planificadores" entiendan una evaluación.

2. Cómo inducirles a revisar sus planes en función de una evaluación.

Parece que esto es mucho más difícil, sobre todo teniendo en cuenta los obstáculos que acabamos de mencionar.
Sin embargo, limitándonos a nuestra primera pregunta, podría sugerir que una evaluación adopte la forma de una breve crítica de las acciones genéricas que encarna un plan. Como ejemplo concreto, digamos que un plan sugiere que, para mejorar la salud pública, las autoridades prevén instalar una unidad cardiaca ultramoderna en la capital de un país. El donante está lleno de entusiasmo y respalda el proyecto. Mientras tanto, el país implicado apenas ofrece atención sanitaria primaria a sus ciudadanos.

En mi opinión, la evaluación previa al proyecto sería breve y lúcida, y diría lo siguiente

"Este proyecto tendría un efecto beneficioso extremadamente limitado en la salud pública del país, y se propone que los fondos y recursos humanos disponibles se destinen a prestar atención primaria en centros situados en X, Y, Z, etc.". Esto es algo que ha ocurrido realmente y he suprimido los nombres del país y del donante. No creo que el informe de evaluación real se pareciera en nada a mi versión, pero debió de ser impresionante por su grosor e inutilidad.

Entonces, ¿están los evaluadores dispuestos y son capaces de concentrarse en lo práctico y guiar las manos que les dan de comer hacia algún bien común con pocas y lúcidas frases sin jerga?

Salud.

Lal.

Estimado Mauro,

Confío en que este correo te encuentre bien. Ciertamente, como dice Dorothy, la evaluación tiene un componente sobre la presentación de los hallazgos y la retroalimentación antes del informe final.

Para mí, esa es la mejor parte del ejercicio de evaluación. En algunos casos, solicité a las organizaciones que brindaran una buena representación durante la presentación de los hallazgos y la retroalimentación, incluidos diferentes niveles, como subnacionales, nivel central, a veces funcionarios de campo. Los beneficios de presentar los hallazgos de la evaluación son que podrá participar en la verificación de datos y también recopilar más información cualitativa, así como superar el malentendido de que la evaluación es un ejercicio de detección de fallas, etc.

También podría tener una discusión previa con las partes interesadas sobre el proceso de evaluación.

Isha

Gran resumen

Un punto a destacar.

Ir más allá del informe no significa "hacer un informe visual".

Un informe visual es más bonito, pero sigue siendo un informe.

"Ir más allá del informe" significa considerar la evaluación como un proceso que no termina con un solo producto, ya sea visual o no.

La comunicación de los resultados y la puesta en común de las ideas deben producirse en todo momento, de muchas formas.

Una buena evaluación no tiene por qué ser un "informe".

Abogo por estrategias y opciones para compartir ideas y resultados con diferentes audiencias, a lo largo de todo el proceso.

Lo que podría NO incluir un informe. La redacción de un informe requiere mucho tiempo, y se lleva un gran porcentaje del tiempo de la evaluación.

¿Es la mejor inversión? ¿Es necesario? Estamos tan acostumbrados a pensar que una evaluación es un informe que no lo cuestionamos.

Además... al lado de las evaluaciones en tiempo real está el "intercambio de información en tiempo real".

Esto es algo muy poco explorado. Sin embargo, puede generar grandes cambios en la forma de evaluar.

Se trata de compartir ideas preliminares, pruebas, para que las personas que participan en la evaluación puedan contribuir a dar forma a las conclusiones.

De nuevo: estamos tan acostumbrados a pensar que compartimos los "productos finales" que no se comprenden realmente las posibilidades de compartir información en tiempo real...

Gracias de nuevo por el gran resumen, realmente ayuda a intensificar el debate y a generar nuevas ideas

(y, ¿sabes qué? ¡Es un buen ejemplo de "intercambio de información en tiempo real" de nuevas ideas! :-)

A la excelente observación de Dorothy de que las razones políticas a menudo se imponen a las conclusiones objetivas y objetivas de un informe de evaluación, añadiré también otro factor que asoma su cabeza, a menudo una cabeza fea: la financiación.

Con demasiada frecuencia, las consideraciones financieras, acertadas o no, se convierten en el único criterio para dar los siguientes pasos, y no el contenido de un informe de evaluación.

Triste, pero cierto.

V. Suresh

Consejo de Europa

Estrasburgo, FRANCIA

Estimado Mauro

Planteas una buena cuestión. Por lo general, hay comentarios antes de la finalización del informe de evaluación. A menudo se trata principalmente de las partes interesadas internas de la iniciativa (política, programa, proceso, proyecto) que se está evaluando y del comisario de la evaluación. Esto es extremadamente útil y ayuda a garantizar que los informes sean de buena calidad y que las recomendaciones se elaboren para que sean aplicables. Lamentablemente, las partes interesadas en el contenido de la evaluación no suelen ser los responsables de la asignación de recursos o de las futuras acciones estratégicas. Por lo tanto, si bien existe un proceso formal de retroalimentación, los responsables de la toma de decisiones a menudo no se comprometen con la evaluación hasta que ésta se ha completado. Por ejemplo, actualmente estamos evaluando un servicio sanitario rural. Los resultados son importantes y las partes interesadas están muy implicadas en el proceso. Pero las decisiones sobre la continuidad del servicio son fundamentales y es probable que se tomen por razones políticas y no por los resultados de la evaluación. Es necesario que la evaluación adquiera un mayor protagonismo dentro de los principales ministerios de planificación para influir en los demás ministerios a fin de que tomen decisiones basadas en las pruebas y no en la política. Todavía estamos muy lejos de esta situación, pero el cambio a los informes de política de evaluación es un buen paso que da a los funcionarios de política ministerial las herramientas para informar adecuadamente a los responsables de la toma de decisiones.

Saludos cordiales

Dorothy Lucks

Estimados miembros,

Sus conocimientos, experiencias y reflexiones sobre este tema son muy esclarecedores y útiles. ¡Muchas gracias por compartirlos! A continuación, enumero algunas enseñanzas que he extraído hasta ahora de esta discusión. Cualquier contribución/reflexión adicional es más que bienvenida. Recuerden también cumplimentar la encuesta (en inglés).

Un informe de evaluación debe ser breve

Un informe de evaluación demasiado extenso aburre al lector/usuario, que no suele estar interesado en consultar información que ya conoce ni dedicar su tiempo a buscar aquélla que verdaderamente le es útil o novedosa. Muy poca gente —incluidos los usuarios de las evaluaciones— dedicaría tiempo a leer informes de evaluación muy largos. ¡De hecho, es poco probable que un evaluador lea uno de sus propios informes (una vez completado)! Algunas recomendaciones: 

• Redactar un resumen ejecutivo de menos de 4 páginas (2 hojas a doble cara), destacando los resultados y conclusiones y las recomendaciones basadas en éstos.
• Elaborar un resumen de menos de 10 páginas. Incluir cuadros y diagramas y enumerar los resultados de forma esquemática (viñetas).
• El informe completo debería tener una extensión de unas 50 páginas.
• Destacar los cambios generados (o la ausencia de éstos), señalar los resultados contra natura y poner de relieve conocimientos sobre los indicadores o las variables de interés. 

Más allá del informe de evaluación: empleo de elementos visuales

Mientras que las evaluaciones se perciban principalmente como requisitos burocráticos con sus correspondientes informes, perderemos grandes oportunidades de mejorar el proceso de aprendizaje. Asumir que la redacción de informes es la manera óptima —y única— de captar y transmitir evidencias y conocimientos es una verdadera lástima. Comunicar los resultados de las evaluaciones de forma concisa, comprensible y significativa es todo un desafío. Necesitamos pensar de forma textual, pero también de manera visual. Debemos resumir los resultados de forma más gráfica, utilizando figuras, ilustraciones y elementos multimedia. Por ejemplo, el Programa Mundial de Alimentos (PMA) de las Naciones Unidas está combinando —en la región de Asia y el Pacífico— la evaluación con la facilitación visual por medio de una metodología denominada EvaluVision. Implicar a personas que pueden tener grandes capacidades de aprendizaje, análisis y comunicación —pero que no son necesariamente expertas en la redacción de informes— es conveniente.

Sin embargo, los elementos visuales se suelen valorar por su estética y novedad. “Quedan bien” y “son modernos” (cool). A todo el mundo le gustan y lo perciben como algo útil. El desafío consiste en incluirlos y elaborar al mismo tiempo un informe “convencional”. Así lo exigen quienes encargan las evaluaciones, incluidos los proveedores de financiación. 

Un cambio de paradigma en la formulación de recomendaciones

A menudo, hay lagunas entre los resultados, las conclusiones y las recomendaciones de los informes de evaluación, que pueden afectar de manera negativa a su calidad y utilización posterior. Tradicionalmente, los evaluadores formulaban las recomendaciones basándose en las conclusiones. Sin embargo, que el equipo de ejecución del proyecto incorpore a un encargado de formular políticas para redactar conjuntamente recomendaciones aplicables puede contribuir a sacar mayor provecho de las evaluaciones. La función del evaluador consiste en asegurarse de que todas las conclusiones o resultados importantes se traduzcan en recomendaciones aplicables, ayudando al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. Esto se puede lograr formulando preguntas que ayuden a identificar las recomendaciones aplicables y garantizando también el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. El objetivo es que los usuarios de una evaluación hagan suyas las recomendaciones y el equipo de evaluación los resultados empíricos. Si las principales partes interesadas participan en una evaluación, presentar los resultados de ésta a los responsables de las decisiones es relativamente sencillo. Por lo tanto, el análisis de las partes interesadas es fundamental para comprender el interés, la influencia y la categoría de las partes interesadas, a fin de ayudarlas en mayor medida a aprovechar las evaluaciones.

Lecciones de las auditorías ¿Son útiles los comentarios/respuestas de los responsables superiores?

¿Deberíamos recibir comentarios de los usuarios de las evaluaciones? Habitualmente, los proyectos de los informes de evaluación se comparten con los encargados de la ejecución para su revisión y aprobación. En el ámbito de las auditorías, el cliente debe proporcionar una respuesta —positiva o negativa— a las observaciones del auditor en un plazo breve de tiempo. Tal vez, y como se ha mencionado anteriormente, trabajar con los usuarios de las evidencias generadas (resultados y conclusiones) en una evaluación para formular recomendaciones aplicables puede ser una forma de comentario/respuesta de los responsables de ésta. Sin embargo, es preciso gestionar bien la comunicación y las relaciones, a fin de evitar que las evaluaciones se perciban como una auditoría o una herramienta “policial”.

El rastreador de acciones

Se puede utilizar un rastreador de acciones (en Excel o cualquier otro formato) para realizar un seguimiento de la implementación de las recomendaciones a lo largo del tiempo. Simplificar el informe de evaluación y utilizar un lenguaje y un formato sencillos —por ejemplo, preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta— es una práctica bastante útil debido a las siguientes razones:

• Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
• El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
• Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.

Construir alianzas y relaciones para utilizar las evidencias

Habitualmente hay subgrupos o equipos técnicos y políticos. En algunas situaciones, los equipos técnicos rinden cuentas a un equipo administrativo que interactúa con los responsables de las políticas. Los evaluadores suelen trabajar con el equipo técnico, y pueden no tener acceso a los otros equipos. El informe y las recomendaciones son triviales, independientemente del proceso que se haya seguido para su elaboración. La preocupación reside en el desfase entre la presentación del informe de evaluación y las acciones en materia de políticas en los países en desarrollo. Institucionalizar el uso de las evidencias es fundamental para fortalecer el uso y la influencia de las evaluaciones. Sin embargo, es un proceso que puede llevar un cierto tiempo, en particular los cambios estructurales (enfoque descendente). Que los responsables superiores apoyen sin fisuras la utilización de las evidencias es una gran oportunidad que no conviene desaprovechar. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Algunos ejemplos de acciones muy útiles son construir pequeñas alianzas y relaciones para aprovechar las evidencias; incorporar gradualmente a las partes interesadas más “influyentes”; o poner de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.

Evaluaciones en tiempo real

En la era de las pandemias y las situaciones de crisis, las evaluaciones deben ser rápidas y se deben realizar en el momento oportuno. Tenemos que “comunicar continuamente”. Una de las dimensiones de la calidad de los datos es su oportunidad. Refleja el tiempo transcurrido entre el momento en que se dispone de la información y los acontecimientos o fenómenos que ésta describe. La noción de oportunidad se evalúa en función del periodo de tiempo en el que que los datos son valiosos y permiten actuar. Las evaluaciones deben ser oportunas para que resulten útiles y haya margen para la acción.

Más allá del uso de las evidencias

El motivo principal para realizar una evaluación es contribuir a una mejora social. Esto incluye utilizar los resultados para cambiar políticas o programas, pero también va más allá. El uso de una evaluación per se no es su objetivo final. Se pretende que los cambios generados promuevan mejoras en la vida de las personas. Demostrar cómo contribuyen las evaluaciones a mejorar las condiciones socioeconómicas puede fortalecer su valor, su influencia y su uso.

Gordon Wanzare

Chers Isha, Silva, Dorothy et tous,

C'est formidable d'entendre la même frustration et la même aspiration pour l'évaluation, l'utilisation et l'influence.

J'ai dessiné une session à la Semaine asiatique de l'évaluation, qui se déroule cette semaine, et le sujet qui m'a semblé évident était l'évaluation en temps réel. L'évaluation doit être rapide et opportune à l'ère de la pandémie. Nous devons "communiquer tout le temps". Vous trouverez un dessin ci-joint.

Si vous n'êtes pas encore inscrit, veuillez rejoindre le groupe linkedin d'EvlauVision. Il compte environ 100 membres, mais la discussion de groupe est encore calme. J'ai vraiment besoin de votre participation active pour stimuler le réseau qui veut apporter la pensée visuelle à l'évaluation, menant à l'action, non pas pour apprendre pour le plaisir d'apprendre, mais pour prendre de meilleures décisions et les appliquer.

https://www.linkedin.com/groups/13949912/

Et demain, 8 septembre, de 11h00 à 12h00 (heure de Manille), EvaluVision sera présenté à la Semaine asiatique de l'évaluation. Veuillez vous inscrire sur https://adb.eventsair.com/aew/. La session d'apprentissage commence à 9h00.

A la vôtre,

Keisuke

Buenos días a todos.

Soy verificador de proyectos técnicos complejos para una empresa italiana, y desde hace tiempo estoy muy interesado en la evaluación de proyectos sociales y técnicos internacionales.

Al leer los correos electrónicos, veo que se habla mucho de la longitud de los informes y de la mejor manera de hacerlos fácilmente comprensibles.

Lo que no he entendido bien es si se espera una retroalimentación.

En los informes de auditoría que elaboro para mi empresa, hay una retroalimentación obligatoria en poco tiempo, por parte del cliente que debe responder a mis observaciones tanto positiva como negativamente.

La respuesta ayuda a mejorar mi trabajo y el del cliente para resolver el problema.

Pregunto si esto también ocurre en sus informes de evaluación.

Gracias

Mauro Fianco

Estimada Isha y todos

Bien dicho. Estoy de acuerdo. Con todas las nuevas herramientas que tenemos en nuestras manos existe la oportunidad de que la evaluación sea más vibrante, menos burocrática y, en definitiva, más útil.

Saludos cordiales

Dorothy

Estimados todos,

Estoy de acuerdo con Silva, los informes de evaluación son muy burocráticos. Aunque la gente no lea, tener un gran informe parece todo un "trabajo bien hecho". 

Pero muy pocos lo leerán todo, puede que no lo lean en absoluto, puede que sólo lean la página del resumen ejecutivo. 

Los requisitos para los informes de evaluación deberían venir con los términos de referencia, pero lamentablemente los términos de referencia son muy poco informativos y carecen de innovación o visión. En su mayor parte, debería decir que son de cortar y pegar. 

La evaluación no ha cambiado mucho en los aspectos mencionados. 

Saludos cordiales 

Isha

Oh, ¡bien hecho!

Es estupendo ver que se reconoce el valor de las imágenes y los elementos visuales.
Los materiales que has compartido son realmente útiles e inspiradores, gracias.

Ahora... como alguien que piensa visualmente y en imágenes, siempre he tratado de resumir los hallazgos de una manera más visual.
Los gráficos, los dibujos, la multimería son vistos como algo "bonito" y genial. A todo el mundo le gustan y siente que son útiles.

Pero, ¿adivinen qué? Luego tengo que elaborar un informe normal, porque es lo que quieren los donantes.
Así que los visuales hay que hacerlos como algo aparte. Por supuesto, de forma gratuita.

El tiempo para hacer informes no suele ser suficiente en una consultoría, así que si quieres demostrar que los visuales u otros medios son mejores, básicamente tienes que trabajar gratis.
Porque, al fin y al cabo, seguirás teniendo que redactar el informe correspondiente.

¿La conclusión?

Hasta que las evaluaciones no se perciban principalmente como requisitos e informes burocráticos... nos perderemos fantásticas posibilidades de aprender mejor.
Y también de involucrar a personas que podrían tener fantásticas habilidades de aprendizaje, análisis y comunicación, pero que no son redactores de informes.
Es tan lamentable que asumamos que la "redacción de informes" por sí sola es la mejor manera de captar y transmitir las pruebas y los conocimientos...

Estimado Gordon y colegas,

Comunicar los resultados de la evaluación de forma concisa, comprensible y significativa es un reto. ¿Cuántas personas leen realmente un informe de 150 páginas?

El PMA de las Naciones Unidas en la región de Asia y el Pacífico está tratando de resolver este problema combinando la evaluación con la facilitación visual. La metodología se llama EvaluVision.

El vídeo explicativo de 3 minutos y el libro electrónico le darán una idea de cómo utilizar la técnica de visualización y facilitación para diseñar, validar y difundir la evaluación. Hay más vídeos y estudios de casos en el libro electrónico.

La próxima semana, el 8 de septiembre, de 9:00 a 12:00 (hora de Manila), presentaremos EvaluVision como parte de la sesión de aprendizaje organizada por el BAD-PMA "Engage to Communicate: Stakeholder Analysis for Communicating Evaluations" durante la Semana de la Evaluación en Asia. La sesión de aprendizaje será de 9:00 a 12:00, pero EvaluVision está programada para las 11:00 a 12:00. Para más información, visite el sitio de la Semana Asiática de la Evaluación. También he adjuntado el folleto electrónico.

Necesitamos tanto el pensamiento literal como el visual para hacer uso de la evaluación.

Estimados todos, estoy totalmente de acuerdo con sus comentarios. La razón última de la evaluación es contribuir a una mejora o a un impacto social. Esto incluye, pero al mismo tiempo va más allá del mero uso de los resultados de la evaluación que cambian las políticas o los programas. De esta manera, el uso de la evaluación per se deja de ser el objetivo final de las evaluaciones, ya que apunta a cambios que promuevan mejoras en la vida de las personas.

De esta manera hemos entendido la evaluación para identificar siete historias de evaluación que hacen la diferencia en América Latina. Hemos publicado estas historias en el libro "Dejando huella", editado por Pablo Rodríguez Bilella y por mí, disponible gratuitamente en español e inglés. Puede acceder al trailer del libro aquí. El libro ilustra cómo la propia evaluación tiene ese potencial de producir un impacto positivo en la vida de las personas.

La siguiente ilustración del libro resume la idea principal de estas siete experiencias.

¿Hay alguna posibilidad de que dejemos de pensar que una evaluación es... un informe?

Se desbloquearían tantas posibilidades.

Estimados Jean y Dr. Rama Rao,

Gracias por este preciso intercambio de experiencias que es muy instructivo, especialmente en lo que respecta al tema de la respuesta de la dirección de una evaluación.
Me gusta mucho la afirmación, aunque bastante obvia, de que "el final de una evaluación no es el final de la evaluación". Formulada así puede apoyar los esfuerzos para organizar los procesos de seguimiento de las recomendaciones.
Me inspiraré en tus más que "dos centavos" ...en nuestras propias mejoras organizativas en ese ámbito.

Esperando los próximos intercambios, le saluda atentamente,

Anne-Pierre MINGELBIER

Head of Evaluation Unit

RBM Change Program Coordinator

Estimados Jean, Gordon y otros,

Gracias por un tema tan bueno para la discusión. Lamentablemente, tenéis razón al plantear estas cuestiones.
Muchas veces he visto informes de evaluación que son voluminosos, con demasiadas cosas que leer y también un gran desfase entre las conclusiones y las recomendaciones.

Escribir demasiadas páginas hará que el lector se aburra, leyendo algunas cosas que ya conocía o buscando ir al grano.

Mi recomendación es que sea sencillo.

1. hacer una página ejecutiva de menos de 4 páginas (escribiendo en ambos lados), destacando los resultados y la conclusión y las recomendaciones basadas en los resultados.

2. Hacer un resumen de menos de 10 páginas, con más tablas, diagramas y resultados en viñetas.

3. El informe completo debe tener 50 páginas.

Saludos cordiales
Isha

Estimado Jean,

Gracias por este resumen conciso de las experiencias y preocupaciones de los evaluadores. Ha compartido las opiniones articuladas y no articuladas de la mayoría de los evaluadores. La práctica de dar espacio a los responsables de las recomendaciones y a los ejecutores es un proceso de aprendizaje. En la práctica, los evaluadores necesitan un informe completo de 100-200 páginas para exponer los hechos. Esto es tanto científico como ético. La versión abreviada con una serie de recomendaciones se realiza en función de los objetivos del estudio (ideal) y de las necesidades expresadas por el donante - el sponsor. Hay muchas cosas que suceden en el medio. Como evaluador, el informe global, lo utilice alguien o no, satisface la necesidad científica de los evaluadores.   

Algunas reflexiones sobre el papel de los donantes. En realidad, el informe del evaluador, que contiene recomendaciones, es valorado por los donantes, que sólo se quedan con algunas recomendaciones compatibles o prioritarias. Se trata de un proceso natural. 

Lo más difícil es lidiar con las expectativas de los subgrupos de donantes. En general, hay subgrupos o equipos técnicos y políticos. En algunas situaciones, los equipos técnicos dependen de un equipo administrativo que se encarga de la política. A menudo trabajamos con el equipo técnico y no tenemos necesariamente acceso a los demás equipos. A su vez, los equipos técnicos cambian sus expectativas en función de las expectativas de los sistemas administrativos/políticos respecto a una política o a un cambio de política. Se trata de una cuestión delicada que puede cambiar rápidamente con el tiempo, mucho más rápido que el momento de la evaluación. Este es el punto crucial. Las partes del informe y la recomendación son insignificantes, independientemente del proceso en el que se realicen. Lo preocupante es el tiempo que transcurre entre la presentación del informe y las acciones políticas en los países en desarrollo.   

Saludos,

Dr. D Rama Rao
Ex director del ICAR-NAARM, Hyderabad
Ex ND, NAIP y DDG (Engg), ICAR, Nueva Delhi
Móvil:+91 9441273700

Estimado Jean,

Aprovecho esta oportunidad para darte las gracias. La mayoría de los países en desarrollo fracasan porque los evaluadores hacen muy bien su parte, pero cuando se trata de compartir la información con los responsables políticos y otras partes interesadas importantes para que se adopten recomendaciones prácticas, dejamos los informes en los estantes.

Pero hoy he aprendido mucho de ustedes y les agradezco sus buenos consejos. Este es el camino a seguir.

Estimado Gordon, estimados colegas,

Antes de compartir mi opinión, consideremos una experiencia: mi colaboración con un equipo de 4 evaluadores en la evaluación de un proyecto de cinco años. Dos miembros de este equipo diseñaron la evaluación y recopilaron los datos. Trabajamos conjuntamente en la fase de análisis y la elaboración posterior de un informe extenso de 180 páginas. Nunca he conocido a nadie que sea partidario de los informes largos. A mí tampoco me apasionan. A decir verdad, muy poca gente dedicaría tiempo a leer informes de evaluación muy extensos. Si es poco probable que un evaluador lea un informe que ha elaborado (una vez finalizado), ¿quién más lo va a leer? Pasemos a las recomendaciones. En la fase de elaboración del informe destacamos los cambios generados (o la ausencia de éstos), señalamos los resultados contra natura y pusimos de relieve conocimientos sobre los indicadores o las variables de interés. Dejamos que el equipo de ejecución del proyecto redactara las recomendaciones aplicables. Incorporaron a un encargado de formular políticas para colaborar en esta tarea. Como pueden ver, evitamos —intencionadamente— la práctica habitual, en virtud de la cual los evaluadores formulan siempre las recomendaciones.

Nuestra función consistía en asegurar que todas las conclusiones o resultados importantes se tradujeran en recomendaciones aplicables. Ayudamos al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. ¿Cómo extenderían un proyecto que ha dado lugar a un determinado cambio (con resultados positivos, no negativos)? ¿Qué haría de forma diferente para lograr el cambio deseado en este tipo de indicadores (áreas de mejora)? ¿Qué haría para obtener los resultados deseados en entornos diferentes? Este tipo de preguntas ayudaron a formular las recomendaciones aplicables.

Comprobamos el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. Al final, el equipo del proyecto hizo suyas las recomendaciones y el equipo de evaluación de los resultados empíricos. Los resultados de la evaluación fundamentaron cada recomendación. Por los tanto, elaboramos el informe de evaluación de forma conjunta. Se trata de una práctica que hemos replicado en otras evaluaciones y que ha demostrado ser eficaz. Con la participación de las principales partes interesadas, presentar los resultados de la evaluación a los responsables de la toma de decisiones es relativamente sencillo.

En mi experiencia previa como evaluador, estas recomendaciones se incorporaban a un rastreador de acciones (en Excel o cualquier otro formato), a fin de realizar un seguimiento de su implementación a lo largo del tiempo. Ésta es la práctica que siguen aquellas instituciones partidarias de la rendición de cuentas y el aprendizaje, o que exigen responsabilidades a su personal y sus proyectos por no ajustarse a estos estándares. Para cada recomendación, hay un cronograma, una persona o departamento responsable, un estado (implementada, no implementada o en curso) y un camino a seguir (parte del aprendizaje continuo). Tengan en cuenta que una de las recomendaciones aboga por compartir y utilizar los resultados de las evaluaciones. Esto requiere un trabajo adicional una vez finalizado el informe de evaluación. Asimismo, simplifiquen el informe de evaluación y utilicen un lenguaje y un formato sencillos y accesibles. Una buena alternativa consiste en preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta. Esta práctica es bastante útil por varias razones:

1. Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
2. El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
3. Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.

Institucionalizar el uso de las evidencias extraídas de las evaluaciones lleva tiempo. Los cambios estructurales —de alto nivel— no se producen de la noche a la mañana, ni surgen de la nada. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Si sus responsables superiores apoyan sin fisuras el uso de las evidencias, no desaprovechen la oportunidad. De lo contrario, no basen su labor en hipótesis: utilicen los datos y la cultura de su organización. Construyan pequeñas alianzas y relaciones para utilizar las evidencias, e incorporen gradualmente a las partes interesadas más "influyentes". Pongan de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.

Mi opinión. Nada más.

Ahora es su turno. Pueden compartir sus aportaciones y comentarios a esta importante discusión.

Jean Providence