Jean Providence [user:field_middlename] Nzabonimpa

Jean Providence Nzabonimpa

Monitoring and Evaluation Officer
United Nations Integrated Strategy for the Sahel
Senegal

Más información sobre mí

Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.

With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, public health, and capacity development, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is SCRUMMaster certified, Core Humanitarian Certified, ATLAS.ti certified professional trainer, and a certified peer-reviewer.

    • Estimado Gordon, estimados colegas,

      Antes de compartir mi opinión, consideremos una experiencia: mi colaboración con un equipo de 4 evaluadores en la evaluación de un proyecto de cinco años. Dos miembros de este equipo diseñaron la evaluación y recopilaron los datos. Trabajamos conjuntamente en la fase de análisis y la elaboración posterior de un informe extenso de 180 páginas. Nunca he conocido a nadie que sea partidario de los informes largos. A mí tampoco me apasionan. A decir verdad, muy poca gente dedicaría tiempo a leer informes de evaluación muy extensos. Si es poco probable que un evaluador lea un informe que ha elaborado (una vez finalizado), ¿quién más lo va a leer? Pasemos a las recomendaciones. En la fase de elaboración del informe destacamos los cambios generados (o la ausencia de éstos), señalamos los resultados contra natura y pusimos de relieve conocimientos sobre los indicadores o las variables de interés. Dejamos que el equipo de ejecución del proyecto redactara las recomendaciones aplicables. Incorporaron a un encargado de formular políticas para colaborar en esta tarea. Como pueden ver, evitamos —intencionadamente— la práctica habitual, en virtud de la cual los evaluadores formulan siempre las recomendaciones.

      Nuestra función consistía en asegurar que todas las conclusiones o resultados importantes se tradujeran en recomendaciones aplicables. Ayudamos al equipo de ejecución del proyecto a fin de conocer de primera mano —en la medida de lo posible— las evidencias y datos de la evaluación. ¿Cómo extenderían un proyecto que ha dado lugar a un determinado cambio (con resultados positivos, no negativos)? ¿Qué haría de forma diferente para lograr el cambio deseado en este tipo de indicadores (áreas de mejora)? ¿Qué haría para obtener los resultados deseados en entornos diferentes? Este tipo de preguntas ayudaron a formular las recomendaciones aplicables.

      Comprobamos el flujo lógico y los vínculos empíricos de cada recomendación con los resultados de la evaluación. Al final, el equipo del proyecto hizo suyas las recomendaciones y el equipo de evaluación de los resultados empíricos. Los resultados de la evaluación fundamentaron cada recomendación. Por los tanto, elaboramos el informe de evaluación de forma conjunta. Se trata de una práctica que hemos replicado en otras evaluaciones y que ha demostrado ser eficaz. Con la participación de las principales partes interesadas, presentar los resultados de la evaluación a los responsables de la toma de decisiones es relativamente sencillo.

      En mi experiencia previa como evaluador, estas recomendaciones se incorporaban a un rastreador de acciones (en Excel o cualquier otro formato), a fin de realizar un seguimiento de su implementación a lo largo del tiempo. Ésta es la práctica que siguen aquellas instituciones partidarias de la rendición de cuentas y el aprendizaje, o que exigen responsabilidades a su personal y sus proyectos por no ajustarse a estos estándares. Para cada recomendación, hay un cronograma, una persona o departamento responsable, un estado (implementada, no implementada o en curso) y un camino a seguir (parte del aprendizaje continuo). Tengan en cuenta que una de las recomendaciones aboga por compartir y utilizar los resultados de las evaluaciones. Esto requiere un trabajo adicional una vez finalizado el informe de evaluación. Asimismo, simplifiquen el informe de evaluación y utilicen un lenguaje y un formato sencillos y accesibles. Una buena alternativa consiste en preparar una nota de orientación y un resumen de la evaluación de dos páginas, así como un pequeño folleto sobre temas específicos que hayan surgido a raíz de ésta. Esta práctica es bastante útil por varias razones:

      1. Los evaluadores no son los únicos actores: hay otras partes interesadas que dominan mejor las realidades programáticas.
      2. El equipo de ejecución tiene margen para alinear sus puntos de vista y sus conocimientos con los resultados de la evaluación.
      3. Completar una evaluación no es —ni debería ser— uno de sus objetivos. Es por ello que las instituciones deben realizar un seguimiento de la implementación de las recomendaciones para poner en marcha acciones correctivas, tomar decisiones, formular políticas, utilizar los datos obtenidos en nuevas intervenciones, etc.

      Institucionalizar el uso de las evidencias extraídas de las evaluaciones lleva tiempo. Los cambios estructurales —de alto nivel— no se producen de la noche a la mañana, ni surgen de la nada. Son necesarios pasos pequeños —pero firmes— para iniciar una transformación desde la base. Si sus responsables superiores apoyan sin fisuras el uso de las evidencias, no desaprovechen la oportunidad. De lo contrario, no basen su labor en hipótesis: utilicen los datos y la cultura de su organización. Construyan pequeñas alianzas y relaciones para utilizar las evidencias, e incorporen gradualmente a las partes interesadas más "influyentes". Pongan de relieve los beneficios de los datos y su influencia en la organización encargada de la ejecución, los responsables de la toma de decisiones y las comunidades.

      Mi opinión. Nada más.

      Ahora es su turno. Pueden compartir sus aportaciones y comentarios a esta importante discusión.

      Jean Providence

    • Estimado John,

      ¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!

      Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.

      Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?

      Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.

      • Con lo anterior, un proyecto localizado sería un proyecto con todos los colores locales. Con diferentes tamaños y formas, todos entrando a jugar en el lugar que les corresponde. Esto no significa ser demasiado ambicioso (demasiados colores pueden desdibujar la visión, es una broma pero no importa, ¡yo uso gafas!). Un proyecto que descubre nuevas evidencias debe incorporarlas en el viaje de aprendizaje. Un proyecto de este tipo tiene más probabilidades de lograr los resultados deseados. En vista de la evolución del contexto en el tiempo, un proyecto con una TdC estática es más probable que se vuelva irrelevante con el tiempo.
      • En mi opinión, una TdC debe ser dinámica o flexible en contextos complejos y en evolución temporal. ¿Existe algún contexto de desarrollo que pueda ser totalmente estático durante un tiempo? Supongo que no. Esto me recuerda las teorías de sistemas y las teorías de complejidad sin las cuales caeríamos fácilmente en la trampa de la linealidad. En mi opinión, no hay ningún perjuicio en empezar con suposiciones, pero cuando surjan pruebas, deberíamos ser capaces de incorporar nuevas pruebas en la teoría de la aplicación y la teoría de los programas que, si se combinan, pueden constituir la TdC completa para las intervenciones de desarrollo. Ya no se miran los proyectos en silos (¡supongo que hemos visto la coherencia como un nuevo criterio de evaluación del CAD de la OCDE!). En mi opinión, es necesario comprender el cuadro completo (es decir, conocimientos actuales + futuros) para beneficiar a la parte (es decir, sólo los conocimientos actuales). Pero la comprensión de la parte individual es menos probable que beneficie al conjunto.
      • Los desafíos con la evolución de la TdC están relacionados con las evaluaciones de impacto, en su mayoría ensayos de control aleatorios. Con la evolución de la TdC, los componentes de los ensayos de control aleatorios o los brazos de estudio se volverán borrosos y la contaminación incontrolable. En la jerga estadística, la varianza  inexplicable será mayor de lo necesario. Mientras que hay laboratorios para las ciencias naturales y físicas, creo que hay pocos, si es que hay alguno, laboratorios confiables de ciencias sociales y del comportamiento. El beneficio de saber cómo navegar por las TdC complejas es que uno puede aprender las lecciones apropiadas y generar evidencia menos cuestionable sobre el impacto de los proyectos de desarrollo.

      Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.

      Quisiera terminar con una cita:

      "Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020

      Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.

      Una vez más, gracias John y colegas por traer y discutir este importante tema.

      Manténganse bien y seguros.

      Jean Providence

    • Estimado OUEDRAOGO y colegas,

      Me gusta mucho el tema que se está discutiendo. Consideremos un escenario. Imagina que la mano izquierda está en conflicto con la derecha. O, una mano está duplicando lo que la otra mano está haciendo. Resultado: todo el cuerpo sufriría. Si esto sucediera en las intervenciones de desarrollo, y de hecho está sucediendo desafortunadamente, es contraproducente y autodestructivo.

      Gracias Serdar por compartir su reflexión que, cuando se ha seguido, ha demostrado ser eficaz para abordar los duplicados del desarrollo, el desperdicio de recursos y los efectos negativos en la vida y los medios de subsistencia de las comunidades.

      Me gustaría compartir mis dos centavos:

      1.         Crear y trabajar en grupos de trabajo técnicos o temáticos para examinar y apoyarse mutuamente. Esto me ha parecido eficaz. Por ejemplo, aliento a los asociados para el desarrollo a que planifiquen y realicen una evaluación de múltiples interesados y proyectos en una comunidad en lugar de que cada uno lo haga por su cuenta. Cuando se hace en silos, esto requiere más tiempo y recursos adicionales de todos los interesados, incluidos los miembros de la comunidad. Cuando se hace por múltiples interesados, se ahorran recursos para ambos. Añade credibilidad y sentido de propiedad y pertenencia entre todos los actores. Se hace más fácil abogar por el uso de resultados de evaluación generados conjuntamente. Informa la programación coordinada y la mejora de los resultados de desarrollo. Se trata de la responsabilidad de sensibilizar no sólo a los agentes del desarrollo sino también a las comunidades. Toda persona que participe en la mala alineación y, por consiguiente, en el uso indebido de recursos limitados debe rendir cuentas.

      2.         Intercambiar y compartir plataformas para el aprendizaje y la difusión de resultados/pruebas (una ligera ampliación del punto anterior): En esta era centrada en los medios de comunicación, ningún actor del desarrollo desearía quedarse atrás. Cada uno quiere estar en la mesa alta para mostrar lo que está haciendo (esto me parece natural y aceptable cuando se hace con integridad). Al ser invitado a un foro de intercambio por el partner X, el partner Y puede ser animado a hacer lo mismo en el futuro. Algunos agentes del desarrollo piensan erróneamente que al retener la información para sí mismos, tendrán una ventaja competitiva sobre los demás. Hay muchas pruebas de que las organizaciones de desarrollo que son abiertas y comparten lecciones se benefician más, y con el tiempo se convierten en la poderosa fuente de pruebas sobre lo que funciona o sobre cómo corregir lo que no funciona. De este modo, atraen oportunidades de financiación y asociaciones.

      3.         A título personal, y posiblemente en el plano político, he visto que estas intervenciones de desarrollo conflictivas y duplicadas reflejan de alguna manera la falta o la limitación de liderazgo para el desarrollo sostenible. La buena gobernanza puede marcar la diferencia. Es sabido que la mayoría de las intervenciones de desarrollo (si no todas) están interconectadas, son interdependientes y se enriquecen mutuamente. Los colegas lo han señalado claramente. Una muy buena lección es esta pandemia de covid 19. Ha resultado difícil para las intervenciones sociales, educativas, económicas, agrícolas, etc., esforzarse por obtener resultados cuando la salud está amenazada. Supongo que ningún sector o actor del desarrollo puede navegar solo por el actual panorama del desarrollo y esperar resultados sostenibles. Lo mismo se aplica dentro del mismo sector.

      Además de los foros y directrices de desarrollo mencionados por los colegas, creo que la participación de la comunidad en el diseño y la supervisión de los proyectos mediante prácticas de rendición de cuentas puede contribuir a abordar finalmente este grave desafío.

      Manténgase a salvo y bien en estos tiempos locos!

      Con mis mejores deseos para todos,

      Jean

      The African Capacity Building Foundation

    • Hola Judith,

      Gracias por compartir este tema para obtener reflexiones e ideas de otros países.

      Aquí está mi contribución (siendo ruandés pero practicando M&E en otro lugar):

      Suelo utilizar el salpicadero del coche para ilustrar las interrelaciones del Seguimiento y la Evaluación. Un sistema de seguimiento funcional alimenta el sistema de evaluación. Un sistema de evaluación funcional a su vez alimenta los procesos de seguimiento.

      Como panel de control para el seguimiento de los progresos y las condiciones de un automóvil, un salpicaderode funcional muestra las condiciones del automóvil. El conductor necesita seguir o comprobar los progresos para llegar a su destino. Imagina conducir un coche sin tablero de mandos! Extraño, arriesgado, propenso a los accidentes, etc.

      El conductor utiliza el mismo salpicadero para evaluar y decidir cuándo ver al mecánico, parar en una gasolinera para repostar o para aumentar la presión de los neumáticos. A veces, el conductor (es decir, el director de proyecto) puede por sí mismo tomar medidas correctivas a partir de su experiencia y conocimiento del sistema del automóvil (es decir, el proyecto). Esto equivale a utilizar los datos de seguimiento o la evaluación del proceso para solucionar los problemas. Utilizando los resultados del seguimiento, el conductor (o el director de proyecto) puede aprender una lección aquí y allá para mantener el automóvil en marcha (o el proyecto) en el camino correcto.

      Pero al final, hay cuestiones técnicas que escapan al control del conductor (o del director de proyecto/programa). En tal caso, el conductor necesita reparar el automóvil o buscar conocimientos técnicos para una orientación informada. Cuando está fuera del control del conductor, estamos hablando de cambio (nivel de resultado o impacto). En este nivel, necesitamos ojos más frescos para añadir una nueva perspectiva a la forma en que hemos estado viendo las condiciones de nuestro coche. Necesitamos que la evaluación sea más segura, más objetiva, más cercana al resultado deseado.

      El sistema de seguimiento se trata de frutas de baja altura, por eso la mayoría de las organizaciones y países por igual encuentran fácil de establecerlo. La evaluación es técnicamente exigente y es el objetivo final de una vigilancia adecuada. Vigilamos para asegurarnos de que logramos los resultados del proceso (bajo nuestro control). Evaluamos para probar o refutar que hemos alcanzado los resultados esperados en cuanto al nivel de cambio (fuera de nuestro control). El seguimiento se limita a "indicadores de vanidad" (un término de un colega en los medios sociales) como números entrenados, kg distribuidos, etc. Sin el sistema de evaluación, lo que funciona o no funciona no se identificaría lógica y objetivamente con las pruebas. El verdadero cambio no se vería recompensado por la ampliación o la reproducción de proyectos exitosos, etc. Sin el sistema de evaluación, fracasamos o tenemos éxito sin nuestro conocimiento y no podemos estar orgullosos de ello.

      Tener un sistema de seguimiento es como tener capacidad institucional o cumplir con los requisitos institucionales para poder informar a xyz. Pero tener un sistema de evaluación es como tener la capacidad humana, la experiencia necesaria para navegar por el complejo paisaje del desarrollo de modo que se mantenga lo que funciona. ¿Qué significa para el S&E en la práctica? Déjenme guardar esto para otro día.

      Espero con interés más reflexiones de otros países.

      Atentamente,

      Jean Providence