Daniel [user:field_middlename] Ticehurst

Daniel Ticehurst

Monitoring > Evaluation Specialist
freelance
Reino Unido

Daniel is a reluctant evaluator, his passion is monitoring with a focus on listening to and learning from those who deliver the support and those who matter most- their clients or ultimate beneficiaries. He strongly believes it is to them, not donors, organisations and programmes should be primarily accountable.

Daniel’s skills are in advising and mentoring in:
• facilitating development and reviews of theories of change and results frameworks, preferably one or the other, certainly not both;
• reviewing, establishing and developing thoughtful monitoring and learning processes and products in organisations and programmes;
• fostering cross team and portfolio learning; and
• designing, oversighting and leading different types of evaluations – ex ante, process and impact - that are utilisation focussed.

Daniel holds an MSc in Agricultural Economics, with a focus on Agrarian Development Overseas, from London University as well as a BA in Geography from the School of African and Asian Studies, University of Sussex.
He lives North of London with his Mosotho wife, Tsepe and has two children – Thabo and Ella. He plays tennis and volunteers at the King’s College African Leadership Centre, University of London and the Woodland Trust.

My contributions

    • Estimado Seda, qué gran contribución. Gracias. Demostrar la calidad de la ciencia es importante, pero insuficiente. Esto, y las explicaciones en torno a ello, se queda corto para una organización que afirma que su programa de investigación es para el desarrollo. Las orientaciones parecen insinuantes a este respecto. Como usted dice, y como he aludido en mi respuesta, a uno le gustaría que tuvieran una lectura más sólida y convincente.

    • Estimada Svetlana,

      Gracias por la oportunidad que nos ofreces para comentar las Directrices. Me ha gustado leerlas, pero sólo tengo tiempo para responder a las dos primeras preguntas.

      Antes de compartir mis impresiones, me gustaría hacer una advertencia: no tengo experiencia en el ámbito de la investigación. Sin embargo, trabajé con científicos agrícolas durante un tiempo. Y observé que la preocupación de entonces de evaluar los efectos en los destinatarios finales —medidos por la fluctuación en los valores relativos de los activos familiares— a menudo ocultó la falta relativa de información e interés sobre la capacidad y aptitudes de los sistemas locales de I+D/extensión antes, durante y después de los periodos de inversión. Con frecuencia, su papel fundamental en el proceso se redujo a su consideración como hipótesis o riesgos para productos o servicios científicos “buenos”.

      Esto dificultó vincular cualquier efecto sostenible en los beneficiarios con información sobre la capacidad institucional en el momento de elaborar los productos de investigación. También podría haber explicado por qué era necesario un cierto grado de descreimiento para confiar en los estudios sobre tasas de rentabilidad de las inversiones (irremediablemente infladas). Todo lo anterior mermó las expectativas de que los esfuerzos para evaluar los efectos de la investigación fueran de gran utilidad para los responsables de la toma de decisiones.

      A continuación, incluyo mis respuestas a las dos primeras preguntas. Espero que mis reflexiones les resulten interesantes e incluso útiles.

      1. ¿Cree que las Directrices responden a los retos que plantea la evaluación de la calidad de la ciencia y la investigación en las evaluaciones de procesos y desempeño?

      Para responder a esta pregunta es preciso conocer los desafíos a los que hacen referencia las Directrices. En este sentido, creo que el título de la sección 1.1 (“Un contexto cambiante para las evaluaciones del CGIAR”) es un poco engañoso. ¿Por qué?

      La sección no describe cómo ha cambiado el contexto. Y, por tanto, no explica por qué motivo y de qué manera constituye una dificultad para evaluar la calidad de la ciencia. Más bien, describe el objetivo del CGIAR de lograr un cambio transformador en tres esferas de acción (transformación de los sistemas —¿una tautología? —, sistemas agroalimentarios resilientes e innovación genética) y cinco Objetivos de Desarrollo Sostenible (ODS) que no especifica. En la sección 1.2 se indica que, si bien los donantes del CGIAR se centran en resultados de desarrollo, la evaluación de las intervenciones de este grupo se debe basar en el marco de calidad de la investigación para el desarrollo —orientado a la investigación para obtener resultados de desarrollo— y el marco del Comité de Asistencia para el Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), orientado al desarrollo. 

      Las dos razones esgrimidas para explicar las carencias de los seis criterios del CAD de la OCDE para evaluar la actividad principal del CGIAR —la impredecibilidad de la investigación y los riesgos que entraña, así como el tiempo requerido para obtener resultados— no parecen estar particularmente relacionadas con la labor de este grupo, ni con la ayuda al desarrollo financiada con fondos públicos. En efecto, el posicionamiento del sistema del CGIAR puede hacer que el proceso sea más prolongado. Sin embargo, tal y como todos estamos descubriendo, los entornos operativos son tan impredecibles como los resultados. El contexto importa. Los resultados son impredecibles. La investigación científica, lo que ofrece y los efectos que tiene en el desarrollo probablemente no sean tan diferentes como sugieren las Directrices. En lo que respecta a la evaluación de la investigación científica, la peculiaridad radica en el personal del CGIAR y la necesidad de garantizar que su labor tenga un elevado nivel científico. Es decir, en su legitimidad y credibilidad. Sin embargo, no me queda claro cómo se ajustan estos dos elementos —extraídos del marco de referencia de la calidad de la investigación para el desarrollo— a las características específicas de la actividad principal del CGIAR y de qué manera logran subsanar las carencias de los seis criterios de evaluación del CAD de la OCDE. ¿O quizás se me esté escapando algo?

      Al comienzo de la sección 2.2 se definen las evaluaciones de procesos y desempeño. No logro apreciar las diferencias entre ellas. De hecho, me parecen muy similares. Tanto que me pregunto por qué no bastaría con una de ellas. Las evaluaciones de procesos se describen como autoevaluaciones finales de todo el CGIAR y los resultados están dentro del alcance de las evaluaciones de desempeño. Por su parte, éstas se describen como evaluaciones más formativas y reiteran la referencia a líneas de investigación similares. Evalúan el desempeño de la organización y los modelos operativos, al igual que las evaluaciones de procesos, que evalúan el funcionamiento organizativo, los instrumentos, mecanismos y prácticas de gestión, así como la experiencia con marcos, políticas, criterios y procedimientos del CGIAR. Dado que “la investigación es impredecible y entraña riesgos”, ¿por qué no se menciona ninguna hipótesis? Éstas definen —de forma indirecta— aquello que no se conoce. Para los directores de investigación y las propias evaluaciones (y su oportunidad), las hipótesis deberían ser tan importantes o más que los propios resultados. Véase a continuación.

      La explicación —incluida en el Cuadro 2— de las diferencias entre la consideración de los criterios de relevancia y eficacia en el marco del CAD de la OCDE y el marco de calidad de la investigación para el desarrollo del CGIAR es limitada. Mientras que la diferencia relacionada con la relevancia explica de forma clara por qué es necesario el CGIAR, la relativa a la eficacia es muy poco precisa (para prever y evaluar). ¿Qué impide que las razones por las que el CGIAR proporciona conocimientos, productos y servicios —para abordar un problema y contribuir a soluciones innovadoras— no puedan enmarcarse como objetivos y/o resultados? Y en especial cuando las Directrices establecen que las evaluaciones de desempeño evalúan objetivos y/o resultados. 

      2. ¿Considera que las cuatro dimensiones (diseño de la investigación, recursos, procesos y productos) son claras y útiles para su desglose y análisis correspondiente durante la evaluación? (véase la sección 3.1)

      Esta sección proporciona una explicación clara y útil de las cuatro dimensiones interrelacionadas (diseño de la investigación, recursos, procesos y productos), que se utilizan para realizar una evaluación equilibrada de la calidad general de la ciencia. 

      Algunas observaciones:

      “Pensar en la ventaja comparativa durante el proceso de diseño del proyecto puede dar lugar a asociaciones beneficiosas para todas las partes, aumentar la efectividad del CGIAR a través de la especialización y reorientar los recursos escasos para destinarlos a los fortalezas relativas del sistema”. https://iaes.cgiar.org/sites/default/files/pdf/ISDC-Technical-Note-Iden…

      1) Teniendo esto en cuenta, y tal y como se mencionó anteriormente en la sección 2.3, convendría explicar que el diseño de la investigación incluye demostrar —que no afirmar— que el CGIAR tiene una ventaja comparativa. Para ello se debería seguir el proceso de cuatro pasos descrito en la nota técnica a la que hace referencia el enlace anterior. Este proceso genera evidencias que permiten determinar si el CGIAR tiene o no una ventaja comparativa y dar luz verde o descartar una inversión. 

      2)  El cuadro 3 es muy útil para relacionar las cuatro dimensiones de la calidad de la ciencia con los seis criterios de evaluación del CAD de la OCDE. Me gusta especialmente la nota sobre la consideración del principio de género, diversidad e inclusión. Sin embargo, no me queda claro por qué el criterio de coherencia se limita a la coherencia interna y no va más allá de las dos dimensiones indicadas (diseño de la investigación y recursos). La coherencia externa es tan importante o más. En especial en lo que respecta a cómo y en qué medida se complementan los productos, se armonizan con otros y se garantiza que les añaden valor en fases posteriores del proceso. 

      3)  Aunque la credibilidad y legitimidad científicas son fundamentales, gestionar y coordinar los procesos para que los productos sean relevantes para los clientes es igual de importante. 

      4)  Me gusta la descripción de los procesos, en especial la creación y el aprovechamiento de asociaciones.

      5)  El alcance de la evaluación de la calidad de la ciencia también debería hacer referencia a las hipótesis. En concreto, a aquéllas que se deben cumplir para que los productos sean aceptados por la organización cliente, ya sea un servicio nacional de extensión u otra entidad. Esto se debería hacer antes de llevar a cabo un estudio de impacto o una evaluación del desempeño. Digo esto porque, tal y como se ha mencionado anteriormente, la incertidumbre e impredecibilidad de la investigación están relacionadas con el proceso que permite obtener los productos, pero también con la gestión de la hipótesis de que el proceso para lograr los efectos perdurará una vez que los productos hayan sido “proporcionados” Esto se debe descubrir antes de que sea demasiado tarde. De este modo se reduce el riesgo de rechazo. Obtener una buena puntuación en el criterio de calidad de la ciencia no garantiza que el producto o servicio sea aceptado y utilizado por el cliente. Cabe recordar que los donantes del CGIAR están interesados en la labor desarrollada, no en la calidad de la ciencia.

       

    • Estimado Richard Gracias por facilitarnos el enlace a sus reflexiones sobre M&E. Una lectura reveladora y que invita a la reflexión. Me ha gustado especialmente, aunque me ha sorprendido, la persistencia de las cuestiones que planteas, en particular

      # 3 Sobre la limitada consecuencia de las parcelas de investigación (¿en la explotación?) respecto a la difusión de la práctica/tecnología en las otras parcelas del agricultor y/o entre otros agricultores de la comunidad.

      Todo esto se enfrenta a la investigación de sistemas agrícolas, centrada en el pensamiento sistémico, y al trabajo de Chamber sobre el agricultor primero, que se remonta a la década de 1980. ¿Cómo podemos recordar estas y otras lecciones a las personas relacionadas con los actuales programas de sistemas de mercados agrícolas?

      # 4 Sobre cómo los donantes asumen que la tierra, y no la mano de obra, es el factor limitante, siendo el indicador iletrado de la elección el rendimiento físico o financiero de la tierra, sin molestarse en averiguar por qué cultivan qué los pequeños agricultores.

       Su referencia, más adelante en el documento, al poema de Kipling "White Man's Burden" (La carga del hombre blanco) me recordó el libro de William Easterly con el mismo título (prestado). Su mensaje central trata de la imposición por parte de Occidente de grandes planes ideados por "amigos de África": la Comisión África de Tony Blair, las Aldeas del Milenio de Sachs y el programa Feed the Future de Obama. En agricultura, a diferencia de la sanidad y la educación, los agricultores no son pacientes tratados por médicos ni alumnos enseñados por profesores, sino que son los expertos.

      La semana pasada hubo un interesante seminario web de UNEG promovido por EvalForward sobre Evaluación y Resiliencia Climática. Una cosa que me interesó fue lo poco que revelaban las evaluaciones sobre la agricultura autóctona "climáticamente inteligente". El término parece limitarse a una práctica que se introduce en las comunidades agrícolas sin que necesariamente se aprenda cómo, por ejemplo, los conceptos indígenas de la dinámica de la humedad del suelo podrían explicar las fluctuaciones estacionales e interanuales contrastadas en la productividad agrícola, la nutrición, la salud, la mortalidad e incluso las tasas de matrimonio a través de un límite de tipo de suelo.    

      #11 Sobre cómo el M&E trata más bien de encubrir el fracaso y su adecuación a las expectativas de los contribuyentes. Las (descerebradas) Máquinas de Evaluación de Peter Dahler Larssen definen un ejemplo de dios de a lo que creo que te refieres aquí.  Él y Estelle Raimondo presentaron una gran exposición de la práctica actual de la evaluación en la Conferencia Europea de Evaluación del año pasado. En cuanto a la cuestión de los contribuyentes, hace unos años se llevó a cabo una interesante investigación que puso de relieve que los contribuyentes británicos no quieren cifras, sino historias sobre cómo y por qué la ayuda funciona o no. La cuestión es que el DFID no rinde cuentas al contribuyente británico, sino al Tesoro (que quiere cifras). Los números, como dicen Dahler-Larden y Raimondo, son uno de los puntos ciegos de las evaluaciones.    Disculpas por el desvarío del lunes por la tarde, y gracias de nuevo por colaborar con tus escritos.

    • Gracias a todos por dedicar vuestro tiempo a compartir vuestras experiencias y puntos de vista. Basándome en sus comentarios, publicaré algunas conclusiones y consejos cuando se cierre el debate la semana que viene. 

      Mientras tanto, quería dar algunas respuestas iniciales extraídas de vuestros comentarios.

      1. El truco para que el seguimiento sea útil es no dejarlo en manos de personas que no sean jueces naturales del rendimiento, ya sean empleados de organismos donantes o sus agentes. Personas que se desenvuelven con facilidad en el desarrollo de marcos y teorías del cambio, utilizan un lenguaje excesivamente complicado y están versadas en toda una serie de metodologías en las que insiste el donante. Es comprensible que esto desanime a muchos miembros del equipo y directivos. Parece aburrido y oneroso. Tanto es así que, para algunos, ni siquiera está claro que se trate de una profesión. ¿Quizás el seguimiento no sea más que un proceso de aprendizaje artificial propio de la ayuda al desarrollo?

      2. La moda de añadir más letras al acrónimo M&E, como L - Aprendizaje, A - Responsabilidad, R - Resultados, parece ser más por afecto que por efecto. Yo, como algunos de ustedes, me pregunto por qué algunos consideran esto revelador o útil. Define la fatuidad en la que algunos de nosotros nos afanamos.

      3. También distrae de la característica más importante que muchos de ustedes señalan. Escuchar y aprender de los que más importan: los clientes o beneficiarios finales. Ellos son también los expertos. Con demasiada frecuencia, sus voces y objetivos se ven desplazados por los de los donantes, que suelen establecerse en marcos lógicos o de resultados. La rendición de cuentas a los donantes, y no a los beneficiarios, parece ser más habitual de lo que cabría esperar o desear, y al ser así resulta gravosa para otras partes interesadas.

      4. Como algunos de ustedes han mencionado, el resultado inevitable es un cúmulo de cifras y comparaciones que aportan poca información sobre el rendimiento. Algunas incluso exigen suspender la creencia dados los periodos típicos de aplicación. Más bien suelen utilizarse para justificar la inversión ante los donantes, e incluso pueden ofrecer una imagen distorsionada de la realidad. Superar las cifras del año pasado no es el objetivo.

      5. Los gestores deben responsabilizarse del seguimiento: encontrar medidas, tanto cualitativas como cuantitativas, que vayan más allá del presupuesto actual y los resultados anteriores y planteen preguntas. Preguntas que revelen respuestas que ayuden a determinar cómo el programa o proyecto puede sintonizar y responder mejor para "aterrizar" mejor o ser aceptable para los clientes beneficiarios en el futuro.  

      Muchas gracias de nuevo y, por favor, si hay más contribuciones o respuestas a lo anterior...

      Con mis mejores deseos y buenos fines de semana,

      Daniel

    • Estimados miembros,

      Muchas gracias por sus variadas y provechosas contribuciones. Basándome en ellas, he elaborado un resumen con algunas observaciones finales. Espero que les resulte útil.

      Para que el seguimiento sea provechoso, no debe encomendarse a expertos teóricos conocedores de las diferentes metodologías y propensos a emplear un lenguaje demasiado complicado. Probablemente no sean las personas más apropiadas para evaluar los resultados. Como es lógico, esto incomoda a muchos responsables y miembros de los equipos.

      Como algunos de ustedes han mencionado, las actividades de seguimiento y evaluación (SyE) suelen generar una gran cantidad de datos numéricos y comparaciones que proporcionan poca información sobre los resultados. Más bien, se utilizan para justificar la inversión, e incluso pueden ofrecer una imagen distorsionada de la realidad. Los responsables deben ocuparse del seguimiento: han de encontrar medidas —cualitativas y cuantitativas— que vayan más allá del presupuesto corriente y los resultados precedentes; y deben plantear preguntas cuyas respuestas determinen cuál es la mejor manera de que el programa/proyecto atraiga y retenga a clientes/beneficiarios en el futuro.

      Cinco conclusiones de la discusión a modo de consejos: 

      1. Evite trampas para incautos en el diseño
      1. Cualquier cambio requiere tiempo. Sea realista a la hora de definir los resultados (qué cambios se producirán en los comportamientos y las relaciones entre los grupos de clientes) y los efectos (qué consecuencias a largo plazo generarán dichos cambios fuera de la zona geográfica del programa y/o en las vidas y medios de subsistencia de los agricultores).
      2. En el caso de programas de sistemas de mercado: a) los sistemas agrícolas también son sistemas y requieren un diagnóstico adecuado; b) no haga referencia prematura al cambio a nivel de sistema durante la fase piloto, a fin de tratar los efectos como si solamente estuvieran relacionados con el cambio a nivel de agricultor; y c) por definición, la fase de atracción de la inversión tiene una serie de efectos en una dimensión geográfica o espacial: observarlos en los plazos preestablecidos del proyecto suele ser difícil, no digamos ya “medirlos”. Aquí puede encontrar un documento “descafeinado” que muestra cómo el enfoque M4P (lograr que los mercados favorezcan a la población pobre) extrae sus propias enseñanzas.
      3. Asegúrese de que los resultados y sus indicadores reflejan las necesidades y aspiraciones de las personas necesitadas, no de los donantes. Por ejemplo, no asuma que todos los agricultores desean obtener mayor rentabilidad de la tierra (es decir, incrementar el rendimiento/productividad).  A menudo, la mano de obra es el factor limitante, no la tierra.
      1. Distinga las competencias en materia de seguimiento de las de evaluación
      1. Explique claramente cómo el seguimiento se basa en ayudar a los responsables a resolver cualquier duda —habitualmente hipótesis— en el proceso de toma de decisiones dando respuesta a diferentes preguntas. Y al hacerlo, distíngalas claramente de aquéllas que suelen estar formuladas por los donantes y para cuya respuesta los evaluadores —a menudo con experiencia previa en el ámbito de la investigación— están capacitados.
      2. Utilice la analogía entre la rendición de cuentas y la auditoría y el seguimiento y la evaluación para diferenciarlas. El SyE se llevan a cabo por motivos diferentes, en momentos distintos, y por y para personas diferentes. Usted puede ser el “mejor” evaluador elaborando métodos, presentando ponencias en conferencias, publicando artículos, dando clase o asistiendo a un curso de SyE. ¿Estas aptitudes y experiencias le convierten en el “mejor” evaluador en materia de seguimiento? No, no necesariamente. De hecho, es muy poco probable. Sin embargo, resulta sorprendente cuánta influencia tienen la evaluación y los evaluadores en la práctica del seguimiento (¿y en la evaluación del desarrollo?).
      1. Negocie las necesidades de información con los donantes
      1. Defina claramente qué información se necesita para gestionar la implementación, encontrando un equilibrio entre la rendición de cuentas al cliente y —en igual o mayor medida— al financiador. Hágalo antes de elaborar una teoría del cambio y/o un marco de resultados.
      2. Centre estas necesidades de información en las percepciones de los clientes y en su acogida y aceptación/rechazo del proyecto. Rendir cuentas ante ellos facilitará el aprendizaje, más que hacerlo antes los financiadores y conocer sus problemas administrativos.
      3. No limite las necesidades de información de responsables y clientes a indicadores de un marco lógico y no elabore un plan de “medición” o “SyE” a ciegas. Hacerlo deteriorá la calidad del seguimiento. Cuando trabaje en entornos operativos impredecibles, tenga en cuenta que las hipótesis/lo desconocido suelen ser más importantes para el seguimiento que los propios indicadores.  Y: “Mejorar las cifras del año pasado no es lo importante; un sistema para medir los resultados debe indicarle si las decisiones que está adoptando ahora van a ayudarle a usted —y a quienes proporciona apoyo— en los próximos meses[1].
      1. Integre el proceso de seguimiento en los procesos de otras personas
      1. Incluya en las descripciones de los puestos de trabajo de quienes prestan apoyo preguntas que puedan utilizar para relacionarse con los clientes y aprender más de ellos (véase el apartado 3a) más arriba).
      2. Utilice el cálculo de costes basado en actividades para animar a los especialistas financieros a trabajar con quienes se encargan de obtener los resultados. Le ayudará a calcular el coste de las actividades y a vincular el seguimiento financiero y no financiero (y a responder a preguntas sobre optimización de recursos, en caso necesario).
      3. Para tomar buenas decisiones en materia de gestión es preciso elegir. Y la información de seguimiento debe fundamentar este proceso. La decisión de dejar de hacer algo —o de hacerlo de forma diferente— se debe analizar con el mismo nivel de detalle que la determinación de hacer algo completamente nuevo.
      1. Sea curioso y hágalo sencillo
      1. Ignore los principios asociados a dogmas metodológicos rígidos o convencionales. Tal y como algunos de ustedes han mencionado, hay mucho material verdaderamente útil. No sólo antiguo, también reciente. Atrévase a pensar por sí mismo...
      2. Hágalo sencillo. No se complique con modas pasajeras y jerga incomprensible que aíslan al seguimiento.

      “Si no puede explicar algo de forma sencilla, entonces no lo entiende suficientemente bien”.

  • El seguimiento y evaluación (SyE), el seguimiento, evaluación, rendición de cuentas y aprendizaje (MEAL, por sus siglas en inglés), el seguimiento, evaluación y aprendizaje (MEL, por sus siglas en inglés), el seguimiento, evaluación, investigación y aprendizaje (MERL, por sus siglas en inglés), el seguimiento y gestión de resultados (MRM, por sus siglas en inglés) o como lo quieran denominar, son metodologías que deberían ayudarnos a aprender de la experiencia. Lamentablemente, no siempre es así.

    Resulta irónico que sistemas supuestamente diseñados para ayudarnos a extraer enseñanzas hayan sido tan reacios a aprender de sus propias experiencias. En mi opinión, esto se

  • What type of evaluator are you?

    Discussion
  • How to define and identify lessons learned?

    Discussion
    • Estimada Emilia,

      En primer lugar, no siempre podemos suponer que quienes afirman ser organizaciones de aprendizaje lo son necesariamente. He aprendido que muy a menudo los más engreídos e intolerantes son los que se felicitan por su capacidad de aprender y su tolerancia hacia otros puntos de vista.

      Mi respuesta cruda es: poner en práctica las lecciones tiene que ver con las estrategias asociadas a los incentivos para hacerlo: la organización no sólo debe rendir cuentas de la calidad de los objetivos de la evaluación y de su consecución, sino también de su ajuste a medida que cambian las circunstancias operativas; es decir, la rendición de cuentas se extiende a la rendición de cuentas para aprender. 

      A mi entender, la práctica actual, en relación con las evaluaciones, para garantizar que las lecciones aprendidas se tienen en cuenta y se ponen en práctica suele consistir en lo siguiente

      a) las lecciones aprendidas informan o se alinean con las recomendaciones -sus consecuencias- para que no se pasen por alto del todo; 

      b) que las recomendaciones se reflejen en la respuesta de la "dirección"; y

      c) que la dirección las aplique realmente.

      Ésa es la teoría y define gran parte de la práctica, pero mucho depende de quién responsabiliza a la dirección de su seguimiento: ¿hasta qué punto son responsables de aprender? 

      Gracias de nuevo y mucha suerte en este proceso.   Daniel

       

    • Estimada Emilia,

      Hola y muchas gracias por un post tan útil, y estupendo ver cómo ha provocado tantas respuestas variadas e interesantes de otros miembros de la comunidad. Aunque no tengo en mente ninguna respuesta de libro de texto, mi experiencia me ha enseñado tres cosas:

      1. En pocas palabras -y pido disculpas-, hay dos tipos de lecciones, cada una con sus propias preguntas a las que debe responder una lección bien planteada: qué fue bien para quién y cómo; qué no fue tan bien, para quién y por qué.... No siempre se logra un equilibrio adecuado entre ambas, quizá debido a la dinámica de poder entre los que financian, los que hacen y entre los que pretenden beneficiarse de la ayuda al desarrollo; implícito de esto 

      2. Ser claros y buscar quién ha aprendido qué de quién, por qué es importante y cuál es la consecuencia. Por supuesto, ofrecer discreción y la oportunidad de aprender de los que más importan -los clientes previstos- es importante, pero también lo es la responsabilidad de los altos directivos, que a menudo saben poco sobre las consecuencias prácticas de sus decisiones sobre el terreno, por así decirlo, hacer lo mismo para formar a los que prestan la ayuda. Su silencio a menudo ahoga el aprendizaje entre ellos; y también la capacidad de adaptación del programa o de la organización. (Y es un punto obvio, pero vale la pena mencionarlo: la evaluación también necesita generar lecciones sobre el desempeño de aquellos que financian. Desde el punto de vista político, se trata de una cuestión delicada y confusa, ya que son ellos quienes encargan las evaluaciones y financian lo que se evalúa. Sin embargo, el punto principal se mantiene: rara vez se ponen a disposición de los que más importan para que rindan cuentas, sino más bien de sus respectivos ministerios de Hacienda o Finanzas).  

      3. Es haciendo esto, escuchando a los que están sobre el terreno, haciendo hincapié en los supuestos menos indicadores, como se generan las lecciones más reveladoras. En otras palabras, explorar las incógnitas. No hacerlo dificulta el éxito; también fomenta el fracaso.

      He disparado mi perno, pero espero que algo de lo anterior sea útil.  

      Mis mejores deseos y gracias de nuevo, Daniel

    • Estimado Eriasafu,

      Muchas gracias por el post, y me alegro de estar en contacto con el tema del seguimiento, muy descuidado y poco valorado por la comunidad de evaluación.

      Me gusta su observación sobre el hecho de que el tiempo que se dedica a las exigencias de recopilación de datos hasta llegar a la cima del marco de resultados o de la teoría del cambio, a menudo sin tener en cuenta los supuestos que se dan en el camino, resta tiempo para la reflexión y el aprendizaje. Creo que esa reflexión consiste en revelar lo desconocido escuchando y aprendiendo de los necesitados, no midiendo a los responsables: las comunidades excluidas y desatendidas.

      Así pues, cómo resolver la cuestión que planteas sobre cómo "los sistemas MEL/MEAL se limitan al cumplimiento, los resultados y el impacto, y rara vez incluyen cuestiones transversales como el género y los principios de no dejar a nadie atrás".

      Me resulta irónico que, siendo el seguimiento una cuestión de aprendizaje, él mismo muestre una capacidad limitada para aprender sobre su pasado. El afán por medir los resultados y el impacto no es tan limitante como erróneo. Aunque se disponga de más tiempo, los indicadores de resultados e impacto generan un valor limitado a efectos de aprendizaje. Esto es más fácil de decir que de hacer en comparación con la medición de los indicadores establecidos en alguna teoría del cambio o modelo lógico necesitado. Los indicadores hacen lo que se supone que deben hacer, miden cosas que sucedieron, o no, en el pasado. No dicen lo que hay que hacer. El seguimiento no se basa en el uso de métodos rigurosos -como definiría el término un estadístico- orientados a las preocupaciones académicas y a la búsqueda obsesiva de la medición y atribución de los efectos de la intervención.

      El seguimiento tiene otros requisitos, como ya se ha señalado, si se trata de ayudar a los gestores a resolver sus incertidumbres de decisión. Su afirmación ignora la hegemonía de los evaluadores occidentales, principalmente transitorios y con inclinaciones académicas, y los de la comunidad de seguimiento y medición de resultados, adictos a las narrativas únicas y a los rígidos dogmas metodológicos. El seguimiento debe liberarse de estos enfoques mecanicistas, y los gestores deben dar un paso al frente, conceder la primacía a las voces y necesidades de las comunidades autóctonas y apropiarse de ellas para garantizar que el seguimiento genere conocimientos para la toma de decisiones que beneficien a quienes legitiman, y no sólo midan los resultados previstos definidos por quienes financian, el desarrollo y la ayuda humanitaria.

      Por supuesto, es importante incluir el género y garantizar que nadie se quede atrás. Sin embargo, y sin sonar simplista, hacer esto significa que la gestión no se quede atrás, por ejemplo:

      • Señalando que la exploración de los supuestos es tan importante, si no más, que la medición de los indicadores y que el "sistema" tiene que ser impulsado por preguntas definidas por quienes son sus principales usuarios, y entre ellos no se encuentran los evaluadores externos;
      • Destacar que, aunque los números son importantes, posiblemente no lo sean tanto como aprender cómo, por ejemplo, el número de hombres y mujeres o de niños y niñas llegó a ser y cómo interactúan entre sí.

      Gracias de nuevo, y espero que lo anterior sea de ayuda,

      Daniel

    • Estimada Ana,

      Muchas gracias por responder, por compartir las 10 preguntas de John y su dirección de correo electrónico.   

      Me pregunto: ¿alguien más se ha encontrado con ellas o con preguntas similares? Y, si es así, ¿se las han planteado? Si no es así, ¿se las ha hecho usted mismo al diseñar una evaluación?   

      Me parece que las respuestas a las mismas podrían ser útiles para el diseño de la evaluación y/o para ayudar a los equipos a prepararse adecuadamente. Es decir, en lugar de esperar a que los miembros de la comunidad se las pregunten al "llegar", por así decirlo.

       

      ¿No se corre el riesgo de desvirtuar el proceso y hacer perder el tiempo a los miembros de la comunidad?  

      ¿Qué opina usted o los demás?  

      Muchas gracias de nuevo Ana y me pondré en contacto con John para saber más.

      Con mis mejores deseos,

      Daniel 

       

       

       

    • Estimado Pedronel,

      Hola y gracias por responder. Estoy completamente de acuerdo en que las evaluaciones y los evaluadores se enfrentan a los retos que describes. Si no se superan, se corre el riesgo de que se excluyan corrientes de conocimiento más diversas y formas locales de hacer el cambio, lo que puede verse obstaculizado especialmente por una fijación en una línea de llegada preestablecida en lugar de fluir con un proceso generativo a la velocidad de las estaciones. 

      ¿Cuáles son los retos que menciona en relación con el aprendizaje y la priorización del conocimiento indígena? y ¿cómo cree que pueden superarse?

      Un saludo y gracias de nuevo,

      Daniel 

    • Estimados todos,

      Mi agradecimiento a todos los que han dedicado su tiempo a contribuir a la discusión. Espero que os haya resultado interesante leer las opiniones y experiencias de los demás. El foro se cerrará ahora, pero dado el número de respuestas ricas y variadas, EvalForward, en colaboración con EvalIndigenous, ha decidido organizar un seminario web el lunes 24 de octubre a las 14.00 (hora de Roma). En su nombre, les agradecería mucho, si tienen capacidad, que participaran e invitaran también a otras personas de sus propias redes.

      John Ndjovu hará una presentación para provocar, lo que esperamos, sea una emocionante oportunidad para compartir y aprender más sobre este tema tan importante.

      Gracias de antemano, y gracias de nuevo por contribuir. Esperamos veros a todos allí, por así decirlo.

      Daniel

    • Gracias a todos los que han contribuido al debate. Muchos de ustedes señalan la importancia de los comportamientos culturalmente apropiados, y éstos están asociados a razones de peso. Algunos aportan ejemplos reveladores de la cultura occidental y de cómo algunas de sus instituciones siguen estancadas a pesar de ser conscientes de las consecuencias que conlleva la necesidad de cambiar. Sin embargo, son muy pocos los que revelan casos concretos de experiencias sobre cómo, ya sea como comisionados o evaluadores, han tratado de ser culturalmente apropiados y/o cómo no lo han hecho, y con qué consecuencias.

      Por lo tanto, agradeceríamos cualquier experiencia "personal" que responda más explícitamente a la pregunta: ¿qué enseñanzas han extraído o qué experiencias (éxitos, desafíos, fracasos) han tenido a la hora de intentar que las evaluaciones prioricen adecuadamente los conocimientos, valores y prácticas indígenas?

      Muchas gracias. 

    • Dear Olivier, you are right: it's not universal, yet it is commonplace among many donors for evaluators and evaluations to be driven by the pursuit of being solely accountable to those who commission them and afford privilege to their administrative requirements and corporate objectives, not of those in need. What Bob Picciotto refers to as mindless evaluation machines, and quite rightly so. 

       

      Best wishes from a strange land - i live in the uk - and hope this finds you very well

    • Interesting analysis on the indiscriminate application and diminishing returns to the practice of late through its "performative" use.

      Reference to how "....sometimes, agencies can reduce reputational risk and draw legitimacy from having an evaluation system rather than from using it" reminds of the analogy the famous classicist and poet AE Housman made in 1903:

      "...gentlemen who use manuscripts as drunkards use lamp-posts,—not to light them on their way but to dissimulate their instability.”

      or in plain english relating to the subject: People Use Evaluation as a Drunk Uses a Lamppost — For Support Rather Than Illumination

    • Estimada Anna Maria,

      Hola y creo que estás en la línea correcta - desarrollar algunas preguntas con las que enmarcar las conversaciones con las personas que han estado involucradas en la implementación. También añadiría a los que participaron en la elaboración de la TdC (que pueden ser personas diferentes).

      Mi propia experiencia en la revisión de la TdC sigue tres grandes temas, cada uno con una pregunta general:

      • Inclusión del enfoque/método: ¿quiénes participaron y en qué medida y de quién es la teoría? Por ejemplo, ¿fueron los asesores de los donantes los que consultaron a los beneficiarios/clientes o sólo el personal de los donantes el que realizó su propia investigación y fue de un lado a otro en diferentes áreas técnicas y luego fue aprobado por una unidad interna de control de calidad o .......? 
      • Solidez de las pruebas: ¿en qué se basan las hipótesis desarrolladas y los resultados -productos, resultados e impacto-, las vías de cambio y los propios cambios? 
      • Coherencia y verosimilitud del producto: ¿el diagrama/visual va acompañado de una narrativa clara que explique CÓMO la teoría de la acción (es decir, las actividades y los resultados) estimulará QUÉ cambio entre QUIENES y POR QUÉ, es decir, la teoría del cambio). 

      El aspecto del producto también varía y, en este sentido, Silva tiene un buen punto, aunque yo no profesaría tener las habilidades de software para producir el segundo diagrama, ¡ni la capacidad intelectual para entenderlo! Las teorías de la acción y el cambio rara vez siguen una trayectoria lineal, pero no hay nada correcto o incorrecto. Una diferencia clave está en cómo el producto deja claras las consecuencias para el proceso de seguimiento y aprendizaje. Si se trata de la construcción de un puente, entonces simplemente se diseña un proceso establecido al infierno desde el principio hasta el final y se supervisa esto en consecuencia. Sin embargo, si se trata de productos del programa que pretenden estimular cambios en los comportamientos y las relaciones entre las personas -o resultados-, entonces esto tiene implicaciones obvias en el seguimiento: las suposiciones que se hacen sobre cómo y por qué responderán a los productos, importan tanto o más que los indicadores de resultados.  

      Dependiendo de quién financie el trabajo que se realiza, cada donante tiene una visión y unas directrices ligeramente diferentes para los TdC (y los marcos lógicos). He desarrollado algunas para revisar el contenido de los marcos lógicos y las he adjuntado. Espero que te sirvan de ayuda.  

      Sobre los marcos lógicos.......La metodología utilizada para desarrollar lo que la gente llama una TdC no es tan diferente de cómo algunos, como la GTZ (ahora GIZ), desarrollan marcos lógicos. Ver aquí (en inglés). Creo que es el mejor método que he visto, por lo que lo recomiendo encarecidamente como referencia para evaluar la calidad del proceso y, en muchos sentidos, del producto. Su esencia está bien captada por el estupendo vídeo de Harriet Maria. Las afirmaciones de que la TdC tiene más en cuenta la complejidad que los marcos lógicos y que hace hincapié en los supuestos y explica mejor los porqués y los cómos del cambio suenan un poco vacías.   

      Al igual que ocurre con muchos métodos y herramientas, no hay nada que considere intrínseco a los marcos lógicos que haya animado a muchas agencias donantes a ignorar o utilizar mal el método y llegar a un producto demasiado simplista y considerado como no apto para el propósito. Dado que lo hicieron, no me sorprendió que se pasaran a ToC.......

      Espero que todo esto te sirva de ayuda y que tengas suerte. Por favor, póngase en contacto conmigo si quiere hablar de cualquier cosa.

      Mis mejores deseos,

      Daniel