Jean Providence [user:field_middlename] Nzabonimpa

Jean Providence Nzabonimpa

Monitoring and Evaluation Expert
The African Capacity Building Foundation
Zimbabwe

Más información sobre mí

Jean Providence Nzabonimpa (PhD) is a social, behavioral, educational, and public health researcher and evaluator, a development and humanitarian practitioner with 16 years of experience in project design, implementation, performance monitoring, outcome and impact evaluation, social marketing, and applied research. Using behavior change theories and communication as an approach to achieve project outcomes and impact in public health, education, and other social development sectors, currently keen on human face in technology, he brings rigorous methodological approaches to development interventions, generating and using evidence for decision-making and impact.

With specialization in mixed methods research, he innovates methodologically when it comes to impact, behavior change, and user experience research and evaluation. With more than 30 research and evaluation studies, coupled with a strong background in education, language use, and public health, he uses advanced social science evaluative, analytical, communicative, and programmatic knowledge and skills to generate evidence and insights to impact the lives of the poor and vulnerable people. Since 2009, he is an apt user and advocate of ICT in program monitoring and evaluation for real-time access to data and evidence. Expert user and trainer in data analysis using SPSS (expert level) and STATA (lesser extent) for quantitative data analysis, ATLAS.ti and MAXQDA for qualitative data analysis. He is certified in SCRUM fundamentals, in ATLAS.ti as a professional trainer, a certified peer-reviewer.

    • Estimado John,

      ¡Feliz 2021 para usted y todos nuestros colegas en la plataforma!

      Gracias por plantear una pregunta crítica y muy intrigante que vale la pena considerar como evaluadores. Estoy seguro de que no puedo hacer justicia a los puntos importantes que han planteado, pero al menos puedo compartir mis dos céntimos. Espero que los colegas también sigan viniendo para una discusión más rica.

      Es cierto que asumimos que entendemos los problemas que afectan a las comunidades locales. Por lo tanto, diseñamos intervenciones para satisfacer sus necesidades. Estoy completamente de acuerdo con usted. Hay factores importantes que se desconocen en la etapa de diseño de las intervenciones de desarrollo. Cuando se sabe poco empírica y teóricamente sobre una comunidad, poco puede hacerse y lograrse. Idealmente, necesitamos conocer las incógnitas para diseñar intervenciones adecuadas y servir mejor a las comunidades objetivo. Pero es lamentable que no funcione siempre así, no es lineal, más aún en la era de las pandemias. Nos basamos en lo que sabemos para hacer algo. En ese proceso, aprendemos algo nuevo (es decir, evidencia) que es útil para redefinir nuestro diseño y aplicación. La complejidad de nuestros tiempos, empeorada por COVID-19, ha empujado a todos los evaluadores a replantearse sus diseños y métodos de evaluación. Sería un eufemismo señalar que todos conocemos las implicaciones del distanciamiento social (yo personalmente prefiero el físico). Imagine una intervención diseñada a través de la cadena de resultados cara a cara como su suposición subyacente para lograr el cambio deseado! Sin repensar su Teoría del Cambio (TdC), la lógica subyacente a tal intervención podría no tener éxito. Este escenario puede aplicarse y probar correctamente que necesitamos una evolución temporal de la Teoría del Cambio. En mi opinión y práctica profesional, mi respuesta es afirmativa. Necesitamos una TdC que evolucione en el tiempo y que esté basada en la evidencia. Usamos suposiciones porque no tenemos pruebas, ¿verdad?

      Mantener la ToC intacta a lo largo de la vida de un proyecto supone que la mayoría de sus supuestos subyacentes y la cadena lógica se conocen de antemano y permanecen constantes. Esto es raramente el caso. Creo que el cambio de la TdC no perjudica sino que maximiza lo que aprendemos para hacerlo mejor y beneficiar a las comunidades. Consideremos este escenario: supongamos que X resultados conducen a Y resultados. Más adelante se descubre que los factores A y B también contribuyen, y de manera más significativa, a Y que sus supuestos iniciales sobre X resultados. No tener en cuenta los factores A y B socavaría la lógica de la intervención; socava nuestra capacidad de medir los resultados. No he utilizado la cartografía de los resultados en la práctica, pero el tema que se examina es un gran recordatorio de su utilidad. Pocos profesionales del desarrollo creerían en vías de "cambio" defectuosas. En cambio, supongo que muchos creerían la historia del fracaso del ToC (por la forma en que odio usar la palabra fracaso). La falta de apetito de los profesionales del desarrollo para acomodar otros factores en la TdC que evoluciona con el tiempo, cuando hay pruebas disponibles, es posiblemente la causa de tal fracaso. Al final, la evaluación puede arrojar resultados positivos y/o negativos que son contrarios a la intuición, o que no pueden vincularse a ningún componente de la intervención. Suena extraño, supongo, simplemente porque hay pruebas que surgieron y no se incorporaron a la lógica de la intervención.

      • Con lo anterior, un proyecto localizado sería un proyecto con todos los colores locales. Con diferentes tamaños y formas, todos entrando a jugar en el lugar que les corresponde. Esto no significa ser demasiado ambicioso (demasiados colores pueden desdibujar la visión, es una broma pero no importa, ¡yo uso gafas!). Un proyecto que descubre nuevas evidencias debe incorporarlas en el viaje de aprendizaje. Un proyecto de este tipo tiene más probabilidades de lograr los resultados deseados. En vista de la evolución del contexto en el tiempo, un proyecto con una TdC estática es más probable que se vuelva irrelevante con el tiempo.
      • En mi opinión, una TdC debe ser dinámica o flexible en contextos complejos y en evolución temporal. ¿Existe algún contexto de desarrollo que pueda ser totalmente estático durante un tiempo? Supongo que no. Esto me recuerda las teorías de sistemas y las teorías de complejidad sin las cuales caeríamos fácilmente en la trampa de la linealidad. En mi opinión, no hay ningún perjuicio en empezar con suposiciones, pero cuando surjan pruebas, deberíamos ser capaces de incorporar nuevas pruebas en la teoría de la aplicación y la teoría de los programas que, si se combinan, pueden constituir la TdC completa para las intervenciones de desarrollo. Ya no se miran los proyectos en silos (¡supongo que hemos visto la coherencia como un nuevo criterio de evaluación del CAD de la OCDE!). En mi opinión, es necesario comprender el cuadro completo (es decir, conocimientos actuales + futuros) para beneficiar a la parte (es decir, sólo los conocimientos actuales). Pero la comprensión de la parte individual es menos probable que beneficie al conjunto.
      • Los desafíos con la evolución de la TdC están relacionados con las evaluaciones de impacto, en su mayoría ensayos de control aleatorios. Con la evolución de la TdC, los componentes de los ensayos de control aleatorios o los brazos de estudio se volverán borrosos y la contaminación incontrolable. En la jerga estadística, la varianza  inexplicable será mayor de lo necesario. Mientras que hay laboratorios para las ciencias naturales y físicas, creo que hay pocos, si es que hay alguno, laboratorios confiables de ciencias sociales y del comportamiento. El beneficio de saber cómo navegar por las TdC complejas es que uno puede aprender las lecciones apropiadas y generar evidencia menos cuestionable sobre el impacto de los proyectos de desarrollo.

      Supongo que soy uno de los interesados en comprender la complejidad y sus ramificaciones en las TdC y la evaluación del desarrollo. Estoy ansioso por aprender cómo Big Data puede y va a arrojar luz sobre el usualmente complejo panorama del desarrollo, rompiendo los silos de linealidad. Como cada vez más necesitamos una mezcla de métodos para entender y medir el impacto o el cambio resultante de las intervenciones de desarrollo, lo mismo se aplica a las TdC. Lineal, la TdC puede eventualmente traicionar el contexto en el que una intervención tiene lugar. Multilineal o curvilínea y en evolución temporal, es más probable que la ToC represente el panorama real pero cambiante de las comunidades locales.

      Quisiera terminar con una cita:

      "Los encargados de la formulación de políticas del siglo XXI en el Reino Unido se enfrentan a una enorme variedad de desafíos: una sociedad que envejece, las promesas y amenazas para el empleo y la creación de riqueza derivadas de la inteligencia artificial, la obesidad y la salud pública, el cambio climático y la necesidad de mantener nuestro entorno natural, y muchos más. Lo que tienen en común este tipo de desafíos de política [e intervención de desarrollo] es la complejidad". Fuente: Libro Magenta 2020

      Todo ello se desarrolla en un contexto complejo que debe ser reconocido como tal y acomodado en nuestras intervenciones de desarrollo.

      Una vez más, gracias John y colegas por traer y discutir este importante tema.

      Manténganse bien y seguros.

      Jean Providence

    • Estimado OUEDRAOGO y colegas,

      Me gusta mucho el tema que se está discutiendo. Consideremos un escenario. Imagina que la mano izquierda está en conflicto con la derecha. O, una mano está duplicando lo que la otra mano está haciendo. Resultado: todo el cuerpo sufriría. Si esto sucediera en las intervenciones de desarrollo, y de hecho está sucediendo desafortunadamente, es contraproducente y autodestructivo.

      Gracias Serdar por compartir su reflexión que, cuando se ha seguido, ha demostrado ser eficaz para abordar los duplicados del desarrollo, el desperdicio de recursos y los efectos negativos en la vida y los medios de subsistencia de las comunidades.

      Me gustaría compartir mis dos centavos:

      1.         Crear y trabajar en grupos de trabajo técnicos o temáticos para examinar y apoyarse mutuamente. Esto me ha parecido eficaz. Por ejemplo, aliento a los asociados para el desarrollo a que planifiquen y realicen una evaluación de múltiples interesados y proyectos en una comunidad en lugar de que cada uno lo haga por su cuenta. Cuando se hace en silos, esto requiere más tiempo y recursos adicionales de todos los interesados, incluidos los miembros de la comunidad. Cuando se hace por múltiples interesados, se ahorran recursos para ambos. Añade credibilidad y sentido de propiedad y pertenencia entre todos los actores. Se hace más fácil abogar por el uso de resultados de evaluación generados conjuntamente. Informa la programación coordinada y la mejora de los resultados de desarrollo. Se trata de la responsabilidad de sensibilizar no sólo a los agentes del desarrollo sino también a las comunidades. Toda persona que participe en la mala alineación y, por consiguiente, en el uso indebido de recursos limitados debe rendir cuentas.

      2.         Intercambiar y compartir plataformas para el aprendizaje y la difusión de resultados/pruebas (una ligera ampliación del punto anterior): En esta era centrada en los medios de comunicación, ningún actor del desarrollo desearía quedarse atrás. Cada uno quiere estar en la mesa alta para mostrar lo que está haciendo (esto me parece natural y aceptable cuando se hace con integridad). Al ser invitado a un foro de intercambio por el partner X, el partner Y puede ser animado a hacer lo mismo en el futuro. Algunos agentes del desarrollo piensan erróneamente que al retener la información para sí mismos, tendrán una ventaja competitiva sobre los demás. Hay muchas pruebas de que las organizaciones de desarrollo que son abiertas y comparten lecciones se benefician más, y con el tiempo se convierten en la poderosa fuente de pruebas sobre lo que funciona o sobre cómo corregir lo que no funciona. De este modo, atraen oportunidades de financiación y asociaciones.

      3.         A título personal, y posiblemente en el plano político, he visto que estas intervenciones de desarrollo conflictivas y duplicadas reflejan de alguna manera la falta o la limitación de liderazgo para el desarrollo sostenible. La buena gobernanza puede marcar la diferencia. Es sabido que la mayoría de las intervenciones de desarrollo (si no todas) están interconectadas, son interdependientes y se enriquecen mutuamente. Los colegas lo han señalado claramente. Una muy buena lección es esta pandemia de covid 19. Ha resultado difícil para las intervenciones sociales, educativas, económicas, agrícolas, etc., esforzarse por obtener resultados cuando la salud está amenazada. Supongo que ningún sector o actor del desarrollo puede navegar solo por el actual panorama del desarrollo y esperar resultados sostenibles. Lo mismo se aplica dentro del mismo sector.

      Además de los foros y directrices de desarrollo mencionados por los colegas, creo que la participación de la comunidad en el diseño y la supervisión de los proyectos mediante prácticas de rendición de cuentas puede contribuir a abordar finalmente este grave desafío.

      Manténgase a salvo y bien en estos tiempos locos!

      Con mis mejores deseos para todos,

      Jean

      The African Capacity Building Foundation

    • Hola Judith,

      Gracias por compartir este tema para obtener reflexiones e ideas de otros países.

      Aquí está mi contribución (siendo ruandés pero practicando M&E en otro lugar):

      Suelo utilizar el salpicadero del coche para ilustrar las interrelaciones del Seguimiento y la Evaluación. Un sistema de seguimiento funcional alimenta el sistema de evaluación. Un sistema de evaluación funcional a su vez alimenta los procesos de seguimiento.

      Como panel de control para el seguimiento de los progresos y las condiciones de un automóvil, un salpicaderode funcional muestra las condiciones del automóvil. El conductor necesita seguir o comprobar los progresos para llegar a su destino. Imagina conducir un coche sin tablero de mandos! Extraño, arriesgado, propenso a los accidentes, etc.

      El conductor utiliza el mismo salpicadero para evaluar y decidir cuándo ver al mecánico, parar en una gasolinera para repostar o para aumentar la presión de los neumáticos. A veces, el conductor (es decir, el director de proyecto) puede por sí mismo tomar medidas correctivas a partir de su experiencia y conocimiento del sistema del automóvil (es decir, el proyecto). Esto equivale a utilizar los datos de seguimiento o la evaluación del proceso para solucionar los problemas. Utilizando los resultados del seguimiento, el conductor (o el director de proyecto) puede aprender una lección aquí y allá para mantener el automóvil en marcha (o el proyecto) en el camino correcto.

      Pero al final, hay cuestiones técnicas que escapan al control del conductor (o del director de proyecto/programa). En tal caso, el conductor necesita reparar el automóvil o buscar conocimientos técnicos para una orientación informada. Cuando está fuera del control del conductor, estamos hablando de cambio (nivel de resultado o impacto). En este nivel, necesitamos ojos más frescos para añadir una nueva perspectiva a la forma en que hemos estado viendo las condiciones de nuestro coche. Necesitamos que la evaluación sea más segura, más objetiva, más cercana al resultado deseado.

      El sistema de seguimiento se trata de frutas de baja altura, por eso la mayoría de las organizaciones y países por igual encuentran fácil de establecerlo. La evaluación es técnicamente exigente y es el objetivo final de una vigilancia adecuada. Vigilamos para asegurarnos de que logramos los resultados del proceso (bajo nuestro control). Evaluamos para probar o refutar que hemos alcanzado los resultados esperados en cuanto al nivel de cambio (fuera de nuestro control). El seguimiento se limita a "indicadores de vanidad" (un término de un colega en los medios sociales) como números entrenados, kg distribuidos, etc. Sin el sistema de evaluación, lo que funciona o no funciona no se identificaría lógica y objetivamente con las pruebas. El verdadero cambio no se vería recompensado por la ampliación o la reproducción de proyectos exitosos, etc. Sin el sistema de evaluación, fracasamos o tenemos éxito sin nuestro conocimiento y no podemos estar orgullosos de ello.

      Tener un sistema de seguimiento es como tener capacidad institucional o cumplir con los requisitos institucionales para poder informar a xyz. Pero tener un sistema de evaluación es como tener la capacidad humana, la experiencia necesaria para navegar por el complejo paisaje del desarrollo de modo que se mantenga lo que funciona. ¿Qué significa para el S&E en la práctica? Déjenme guardar esto para otro día.

      Espero con interés más reflexiones de otros países.

      Atentamente,

      Jean Providence