From being a Community Development Facilitator, Community Supervisor, Auditor, then a Project Director of Administration and Finance as well as Financial Analyst, Mr Janvier Mwitirehe has done considerable efforts to become an expert in monitoring and evaluation. He is the founder of the Horizon of Excellence Ltd, a research, consulting and training company created in 2011. Through it, Janvier is recognized for his role in M&E capacity development in Rwanda.
Mr Mwitirehe is an active member of the Rwanda Monitoring and Evaluation Organization (RMEO) and other M&E platforms. More so, Janvier is a part-time researcher in statistics for policy development and a part-time trainer of planning, monitoring and evaluation (PM&E) approved by Rwanda Management Institute (RMI) since January 2020. It is in this framework that he developed a Strategic PM&E training package that was given a concurrence by RMI management.
His main areas of intervention include the following:
- Use of statistics and big data to build an Effective M&E System: to address the issue of statistical illiteracy among M&E professionals, Janvier has been a strong proponent of the use of statistics in M&E. Moreover, he has developed a prototype of an effective M&E system and, this facilitated his doctoral studies in “Leveraging Big Data to Build an Effective Monitoring, Evaluation and Learning (MEL) system of a water utility company”.
- Data mining, analysis and visualization: Janvier masters different data mining techniques and is computer literate in Ms Office, Power BI, SurveyCTO, R, Python, Stata, Eviews, Epi Info and SPSS with statistical modeling and analytical skills. Using advanced Excel, GIS, Power BI and Tableau, Janvier can develop interactive performance dashboards.
- Designing experimental and quasi-experimental impact evaluations: Janvier created an Evaluation Research Team skilled in randomized control trial, propensity score matching, difference in difference, instrumental variables, regression discontinuity designs.
- Doing research in Performance, Impact and Efficiency (PIE) Evaluation: Janvier has so far published two papers: “Robust Impact Evaluation Experiments in Rwanda” and “Evaluation de l’Efficacite et Efficience du Système de Santé Rwandais”. In addition, Janvier is completing his third paper: “Integration of Big Data in Water Monitoring, Evaluation and Learning System”. Case Study of Water and Sanitation Corporation (WASAC) LTD in Rwanda.
Janvier [user:field_middlename] Mwitirehe
Janvier Mwitirehe
Evaluation Researcher
Horizon of Excellence Ltd
Rwanda
Janvier Mwitirehe
Evaluation Researcher Horizon of Excellence LtdHello John,
The answer is NO.
Thanks
Janvier Mwitirehe
Evaluation Researcher Horizon of Excellence LtdEstimado Juan, gracias por su comentario y por las muy buenas preguntas de seguimiento.
La respuesta a ambas preguntas es SÍ. Además, me gustaría indicar que, en la perspectiva de USAID, las intervenciones (actividades o proyectos) se diseñan dentro de los supuestos y las pruebas locales; y que los supuestos son uno de los componentes de la Teoría del Cambio (TdC). Para aquellos que necesiten saberlo, definamos primero el desarrollo de USAID, el marco de la TdC, y luego expliquemos cómo se puede revisar la TdC junto con ejemplos:
Contexto del desarrollo de USAID
Para que USAID opere en cualquier país, primero define un plan estratégico (llamado estrategia de cooperación al desarrollo del país-CDCS) alineándolo con las prioridades del país socio. La CDCS se basa en el análisis de los riesgos del país y en las consultas con diferentes instituciones gubernamentales y asociadas. La CDCS presenta un objetivo de desarrollo del país con objetivos de desarrollo sectorial que apoyan ese objetivo y resultados intermedios que se incluyen en las DO. Cada DO se describe junto con sus respectivos riesgos y supuestos. Observemos que el plan de seguimiento del rendimiento se diseña junto con el plan estratégico.
En consonancia con la estrategia, se diseñan uno o varios proyectos para contribuir a la consecución de los objetivos de desarrollo. Un "proyecto" se refiere a un conjunto de mecanismos de ejecución o "actividades" complementarias, a lo largo de un calendario y un presupuesto establecidos, destinados a lograr un resultado de desarrollo discreto, que a menudo está alineado con un resultado intermedio en un CDCS. Éste va acompañado de su plan MEL de proyecto asociado.
Por último, la actividad que es el nivel de ejecución. USAID ejecuta sus estrategias y proyectos mediante el diseño y la ejecución de actividades. Una actividad lleva a cabo una intervención o un conjunto de intervenciones, normalmente a través de un mecanismo de ejecución como un contrato, un programa de asistencia o una asociación. Esto va acompañado de su plan MEL de actividad asociado.
Simplificando, cualquier actividad se contempla dentro de un determinado proyecto que, a su vez, responde a un determinado objetivo de desarrollo. El plan MEL de actividad alimenta el plan MEL de proyecto, que a su vez alimenta el plan de seguimiento del rendimiento.
Marco CLA
Para hacer frente a un entorno cambiante, USAID integra el programa de Colaboración, Aprendizaje y Adaptación (CLA) en su ciclo de vida para garantizar que las intervenciones se coordinan con otras, se basan en una sólida evidencia y se adaptan de forma iterativa para seguir siendo relevantes a lo largo de la implementación. El marco de CLA consiste en gestionar de forma adaptativa a través del aprendizaje continuo.
Definiciones de USAID:
- Colaborar es el proceso de identificar estratégicamente a las partes interesadas clave, tanto internas como externas, y decidir cuál es la mejor manera de trabajar con ellas para añadir valor, colmar las lagunas y evitar la duplicación mientras se trabaja en pos de un objetivo compartido.
- El aprendizaje es el proceso intencionado de generar, captar, compartir y analizar información y conocimientos procedentes de una amplia gama de fuentes para fundamentar las decisiones y adaptar los programas para que sean más eficaces.
- La adaptación es un enfoque intencional para reflexionar sobre el aprendizaje y tomar decisiones y realizar ajustes iterativos en respuesta a la nueva información y a los cambios en el contexto.
Hacer una pausa y reflexionar de forma regular ayuda a identificar lo que funciona y lo que necesita ser adaptado, y permite a USAID considerar el impacto de los cambios en el entorno operativo o el contexto. Algunos ejemplos de oportunidades de pausa y reflexión son la revisión de la cartera, los eventos de aprendizaje, las reuniones de equipo, las comunidades de práctica, las redes de aprendizaje, etc.
Revisión de la TdC
En el contexto de USAID, la lógica subyacente de un proyecto/actividad se recoge en la TdC. Una TdC sólida es una narración que resume el contexto, identifica los puntos de apalancamiento para el cambio, especifica los resultados necesarios, describe las intervenciones esperadas para lograr esos resultados y establece los supuestos asociados.
El proceso de elaboración de la teoría del cambio debe ser participativo, lo que implica un amplio compromiso con las partes interesadas locales y una serie de ejercicios dinámicos de pensamiento crítico para examinar el conjunto de pruebas, extraer diferentes puntos de vista y llegar a un consenso sobre el mejor enfoque posible teniendo en cuenta la información disponible.
Por lo tanto, el diseño de la TdC se basa siempre en las pruebas y los supuestos locales y, dado el rigor del proceso, es menos probable que se entienda mal. Aunque esto pueda ocurrir o los supuestos cambien, las acciones periódicas de pausa y reflexión ayudarán a darse cuenta de esa brecha y la gestión adaptativa debe seguir. Por ejemplo, para las actividades de Alimentos para la Seguridad, existe el requisito de que los socios desarrollen una Teoría del Cambio (TdC) para sus actividades y la revisen "siempre que haya nuevas pruebas, o cuando haya cambios en el contexto que afecten a los supuestos o a las vías de cambio hipotéticas" y, como mínimo, anualmente.
Tenemos ejemplos en los que se revisó la TdC:
En conclusión, USAID tiene diferentes opciones para adaptar sus intervenciones: a nivel de actividad, de proyecto o de estrategia. A través de su colaboración, USAID también puede co-crear. Para que esto sea posible, debe reforzar su aprendizaje.
Gracias
Janvier M.
Janvier Mwitirehe
Evaluation Researcher Horizon of Excellence LtdEstimados todos,
La realidad es que operamos en un ambiente de rápida evolución que debe ser considerado al implementar nuestros programas o proyectos. Como señalaron los colegas, las limitaciones planteadas por COVID-19, por ejemplo, deben impulsar la adaptación para lograr con éxito los resultados previstos.
Esto puede hacerse, por ejemplo, introduciendo lo que USAID llamó "marco de colaboración, aprendizaje y adaptación (CLA)" [CLA Tool Kit Landing | USAID Learning Lab], que implica un conjunto de prácticas integradas en el ciclo del programa para asegurar que los programas se coordinen con otros, se basen en una sólida base de pruebas y se adapten de manera iterativa para seguir siendo relevantes a lo largo de la implementación. Con esto, las suposiciones críticas identificadas que son centrales para una TdC deben ser probadas periódicamente - lo cual es una característica central de la planificación basada en suposiciones - y si ya no son válidas, entonces se emplean pasos de gestión adaptativa como respuesta.
Es cierto que esto conlleva una complejidad de aplicación que también requiere el uso de nuevos métodos de evaluación que respondan a la complejidad, y que aún están en evolución. En tales condiciones, es necesario integrar la ciencia de los datos* en las actividades del MEL.
Nota: La ciencia de los datos es un campo interdisciplinario que utiliza métodos, procesos, algoritmos y sistemas científicos para extraer conocimientos y percepciones de muchos datos estructurales y no estructurados. La ciencia de los datos está relacionada con la minería de datos, el aprendizaje por máquina y los grandes datos (https://en.wikipedia.org/wiki/Data_science).
Mejor,
Janvier