Lewis N. KISUKU

Lewis N. KISUKU

Praticien en Suivi & Évaluation Axé sur les Résultats (SAR)/Practitioner of Results Based Monitoring (RBM)
LIR Consulting Cabinet
República Democrática del Congo

More than 15 years of experience in humanitarian assistance with short- and long-term missions in similar geopolitical contexts; Extensive and in-depth experience on direct participation in the management and implementation of effective M&E systems to assess progress and record results achieved, on monitoring of subcontractors, as well as technical assistance related to, performance management, theories of change and monitoring and evaluation plans in USAID, GAC, ECHO & BMZ funded projects. Solid experience in managing emergency, transitional and development projects with a focus on aid to displaced populations, food security, conflict resolution, WASH and education. I have benefited from several international trainings through the German Academy for International Development with a focus on results-based M&E, food security and managing for development results. I have a good knowledge of the geographic, political and socio-cultural contexts of Central African Republic, Burundi, Rwanda and DR Congo in general, and a good mastery in the provinces of the resilience zone in particular (Goma, Bukavu, Tanganyika, Kassaï and Ituri)

My contributions

  • Making more use of local institutions in evaluation

    Discussion
    • ¿Cómo se está gestionando esta transferencia de responsabilidades? ¿Qué instituciones están involucradas? ¿Gobiernos, universidades, organizaciones no gubernamentales, empresas de consultoría o particulares?

      En primer lugar, en mi país no existe ningún organismo o institución con el mandato o la responsabilidad de realizar el seguimiento y la evaluación de las acciones del gobierno, de las ONG o de otras instituciones internacionales como en Sudáfrica (Seguimiento y Evaluación, Oficina de la Comisión de Servicios Públicos de Sudáfrica) o en Colombia (SINERGIA). En la República Democrática del Congo, el Ministerio de Planificación es el encargado de planificar y programar la política de desarrollo económico y social del país. Cuenta con 9 direcciones, entre ellas una de "estudios y planificación" y más de 7 comités y 4 células, una de las cuales se encarga de los proyectos y la contratación pública y otra del control y el seguimiento, etc., pero el mandato y el papel nunca se han aclarado y siguen sin desempeñarse.

      Ninguna de nuestras universidades o instituciones de formación ofrece un curso de grado en Seguimiento y Evaluación, excepto nuestro Instituto Superior de Desarrollo Rural que tiene una rama en el nivel de máster2 "Licencia" con una opción en "Planificación Regional". Aquí es donde se ofrecen algunos cursos relacionados con el seguimiento y la evaluación. Esto nos lleva a la conclusión de que hay una falta clamorosa de competencias en materia de seguimiento y evaluación.

      La mayoría de las evaluaciones independientes son organizadas por personas individuales: pueden presentarse como un solo individuo, como un dúo o como el jefe de un centro de estudios o asociación. Sus perfiles: (i) a menudo son antiguos empleados de las ONGI (que se han convertido en consultores independientes o siguen en activo, pero actuando en su tiempo libre como autónomos); (ii) a veces son profesores o asistentes universitarios que actúan de forma autónoma, sin la participación directa de sus respectivas universidades. Los grandes proyectos del Banco Mundial, del BAD y de algunas agencias de la ONU equiparan muy a menudo a estos universitarios con las ONGI que recurren a ellos para este primer perfil. En la actualidad, incluso los proyectos del Banco Mundial utilizan este primer perfil, ya que el segundo es demasiado teórico, los informes son muy largos (pero bien redactados) y a menudo se presentan con retraso porque sus autores están demasiado ocupados con otras prioridades.

      Las evaluaciones dentro y/o durante el transcurso del proyecto son a menudo obra de uno o varios funcionarios contratados por el proyecto o la ONG en cuestión (con la consiguiente cuestión de la independencia real de estos funcionarios bajo autoridad jerárquica, muy a menudo expatriados).

      ¿En qué medida se están asumiendo estas responsabilidades? ¿Siguen limitándose a la recopilación y análisis de datos, o han aumentado en materia de gestión de las evaluaciones?

      Para el primer perfil de profesionales del seguimiento y la evaluación, muy a menudo su responsabilidad se limita a la recogida de datos y/o al apoyo de consultores internacionales. No hay una verdadera transferencia de competencias, ni autoridad para la toma de decisiones en las fases anteriores o posteriores a la evaluación. A modo de ejemplo: una vez que el informe ha sido redactado por el consultor y validado por la jerarquía administrativa de la ONG, aunque los enfoques o las opiniones sean divergentes entre el consultor y el personal responsable del seguimiento y la evaluación dentro del proyecto, es muy raro que se dé la razón al personal local.

      En cuanto al segundo perfil, muy a menudo gozan de un crédito de confianza inicial, por lo que suelen ser llamados para las evaluaciones básicas o finales. Se les da rienda suelta en el diseño y la planificación de las herramientas de encuesta. Muy a menudo son maestros en la redacción de los informes finales. A veces los datos están bajo la autoridad de otros, y la interpretación, el análisis de los datos y la redacción del informe se dejan en manos de otros.

      ¿Cómo se financia este trabajo? ¿Los costes son asumidos únicamente por los gobiernos o los donantes contribuyen con fondos previamente asignados para el personal o los consultores de los donantes?

      El 95% de los costes de las evaluaciones corren a cargo de los donantes. Con la cuestión de la rendición de cuentas en boga: la existencia de un sistema de seguimiento o mecanismo de rendición de cuentas forma parte ahora de las condiciones o criterios de selección de proyectos. El verdadero reto sigue siendo la asignación del presupuesto, normalmente entre el 3% y el 7% del presupuesto total del proyecto debería estar disponible para el seguimiento y la evaluación, pero pocos proyectos respetan esta proporción, especialmente el aspecto relativo a la capacitación del personal en relación con el seguimiento y la evaluación.

      ¿Qué dificultades hubo? ¿(a) falta de personal capacitado; (b) falta de financiación; (c) problemas de presión entre homólogos que dieron lugar a informes optimistas; (d) otros problemas?

      (i) Falta de personal formado; la pandemia de Covid19 agrava esta deficiencia. Con las restricciones de movimiento, los profesionales del seguimiento y la evaluación deben recurrir a la localización de recursos o a la tecnología. Ambas cosas hacen mucha falta en mi país.

      (ii) Falta de financiación; como la cultura organizativa de seguimiento y evaluación está todavía en pañales en muchas organizaciones, el personal de los departamentos de seguimiento y evaluación suele tener que agitar las cosas para llamar la atención de los responsables del presupuesto. Como consecuencia directa, las visitas se reducen a su estricto mínimo. La formación apoyada por el proyecto es casi inexistente.

      (iii) problemas de presión de los compañeros que conducen a informes optimistas; debido a la falta de esta cultura y formación, muchos compañeros perciben al personal de M&E como policías y/o pesimistas que ven el gusano medio vacío. Por desgracia, si la jerarquía no está abierta a la crítica, esta actitud puede exacerbar la tensión interrelacional e incluso poner en peligro la integridad moral y/o física de algunos oficiales (yo mismo fui una víctima en Tanganica).

      (iv) otros problemas: inseguridad o inestabilidad en las zonas de trabajo. A modo de ejemplo: la noticia de la muerte del embajador italiano en el este de la RD del Congo durante una misión de control sobre el terreno.

       

      [Note that this contribution was originally submitted in French]

         

    • What can we do to improve food security data?

      Discussion
      • Data Quality Management and Surveys

        The General Policy for Data Quality Management in Agriculture provides for the development of a Code of Good Practice in Surveys for Harmonization of Approaches. during the design and production phases. Here, the term "survey" refers to any activity aimed at collecting or acquiring data for statistical purposes. This includes censuses, sample surveys, and the production of statistics from data from administrative records produced by agents. The creation and maintenance of an administrative file for statistical purposes does not fall into this category, only the exploitation of such a file for statistical purposes belongs to the field of surveys.

        The collection of good data collection and analysis practices is one of the internal mechanisms contributing to the quality of processes, a prerequisite for the quality of products and services. Distributed to the staff of the practical guides while directing the responsibility since 2016 the GIZ initiated an institutional mechanism of collection of the data and on the other hand a measure of Audit (against verification) of the quality of the data collected by the team of responsible for the production of the data. However, GIZ's desire to reach out to a broader audience of customers, users and partners led to the development of the Policy Statement on Quality in Surveys. It consists of sections of the Code of Good Practice in Surveys whose content is less specialized.

         

        The definition of quality

        Like many statistical organizations, the Institute defines the quality of a product by all the characteristics that influence its capacity to satisfy a given need, to allow a planned use. GIZ uses six dimensions as criteria of quality: relevance, reliability and objectivity, comparability, timeliness, intelligibility and accessibility. Table 1 summarizes the definition and general guidelines for quality assurance for each of these dimensions. During the realization of a survey project, the dimensions are targets to be met to ensure the quality of the statistical information resulting from this survey. After its realization, they represent the criteria that make it possible to evaluate the quality of the statistical information produced. In the process of being implemented, the decisions made regarding the procedures and their implementation must take into account all the dimensions of quality. The quality assurance of a survey product therefore depends on the work done by the implementation team and all the staff involved, at all stages of the survey.