Aprovechar mejor las instituciones locales para la evaluación

Estimados colegas,

Muchas gracias por tomarse el tiempo de responder y por enviar sus comentarios y experiencias.

Había esperado oír hablar de alguna experiencia satisfactoria en la que participara una universidad, pero tal vez fuera un optimismo poco realista.

Los comentarios de Lewis N. Kisuku, de la República Democrática del Congo, dan una buena idea de la situación en ese país. Los problemas descritos serían comunes a muchos países, tanto en África como en otros lugares. Sus comentarios sobre las contribuciones del personal universitario coinciden con los de Isha Miranda, de Sri Lanka. ¿Por qué el trabajo de las universidades o de sus miembros se caracteriza a menudo como teórico y sus informes como largos y a menudo tardíos? Quizás sea por la falta de sentido comercial, la falta de presión y el fatal deseo de perfección.

Es muy bueno escuchar un resultado positivo y feliz de Gambia enviado por Paul L. Mendy.  Esto parece demostrar lo que se puede hacer con una estrecha colaboración entre los consultores locales y el personal de la agencia de financiación. 

Elsproblema básico y el punto de partida es cómo adquirir buenos datos. Esto debería ser una responsabilidad local y no una visita apresurada de un especialista internacional que acaba de llegar.
Si los datos se recogen localmente, ¿cómo se puede garantizar que sean imparciales, no sesgados y objetivos? Es probable que haya presiones para informar de los resultados tanto por debajo como por encima.

Además, los encuestadores tendrán la tentación de soñar con los resultados de los participantes en el 
proyecto no en sus granjas, sino en alguna cafetería de carretera. Las presiones para "mejorar" o modificar los resultados y la posterior evaluación continuarán hasta y más allá de la entrega del informe de evaluación a la agencia de financiación. Está claro que es difícil para una empresa comercial privada o para un individuo resistir todas estas presiones, y mucho más fácil para una institución.  

Esperemos que, como consecuencia del aumento de la presión para la participación local en la evaluación a raíz de Covid, pueda haber más interés por parte de las universidades.
Este interés sería bueno para la evaluación, así como muy bueno para las universidades y sus estudiantes.

Muchas gracias de nuevo por participar en la discusión.

John Weatherhogg   

En Yemen, los seis meses anteriores han sido testigos de una gran demanda de evaluadores nacionales como resultado de covid-19. 

Un número considerable de empresas de seguimiento de terceros se ha puesto en contacto con evaluadores nacionales para asignarles sus actividades en Yemen.

Esta tendencia es un cambio significativo que mejorará la profesionalidad del seguimiento y la evaluación en Yemen, ya que contribuirá a la capacitación de los expertos nacionales.

.

Hola John,

Gracias por traer este tema.

Efectivamente, estoy de acuerdo contigo en que uno de los aspectos positivos de la pandemia de Covid-19 es que permite una mayor participación de consultores locales en la evaluación, dadas las restricciones de viaje de los consultores internacionales. El uso de consultores locales es, sin duda, menos costoso económicamente. La mayor oportunidad para los consultores locales contribuye a reforzar la capacidad local en materia de evaluación. 

En mi caso, en Gambia, la misión de finalización del Proyecto Nacional de Desarrollo de la Gestión de Tierras y Aguas Agrícolas financiado por el FIDA (denominado localmente Nema Chosso) se llevó a cabo con una combinación de consultores locales e internacionales, en la que estos últimos realizaron el trabajo de campo sobre el terreno y las consultas directas con los beneficiarios, el personal y las partes interesadas del proyecto, mientras que los consultores internacionales (con la excepción de una pareja de Dakar (Senegal)) llevaron a cabo sus tareas (principalmente la revisión documental y los intercambios virtuales con el equipo del proyecto y los consultores locales). El acuerdo proporcionó oportunidades de consultoría para al menos tres expertos locales que, de otro modo, no habrían tenido la oportunidad. La calidad de los resultados se consideró muy buena, enriquecida por la combinación de expertos locales e internacionales. Debo apresurarme a añadir que la oportunidad contribuyó en gran medida a enriquecer la capacidad/habilidades de los consultores locales a través de un mecanismo amistoso de retroalimentación que fue puesto en marcha por el Jefe de Equipo. Esto se hizo evidente en los numerosos comentarios/observaciones que se hicieron sobre algunos de los informes preparados por los consultores locales.

El Director del FIDA en el país y su equipo gestionaron directamente la misión a través del jefe del equipo de consultores, que, afortunadamente, estaba basado en Dakar, al igual que el equipo del FIDA para Gambia. El Director Nacional revisó los hitos acordados de la asignación y recomendó al proyecto cuándo debían realizarse los pagos. Los pagos se realizaron localmente a través de la Cuenta Especial del proyecto mediante cheques bancarios (para los consultores locales) y transferencias (para los consultores internacionales).

Gracias,

Paul

A principios de este siglo, se fomentaron las asociaciones Norte-Sur y Sur-Sur. Mientras que esto ha sucedido en algunos lugares, no funcionó en otros. Los retos de la pandemia de COVID no se han dejado sentir allí donde se crearon asociaciones y se reforzaron las capacidades de los actores locales. En el caso de la primera pregunta, no se ha producido ningún cambio en estos ámbitos como consecuencia de la pandemia. Esto se debe a que las instituciones han estado trabajando para reforzar la inclusión y las asociaciones. Nuestras asociaciones de evaluación locales, regionales e internacionales deberían fomentar las colaboraciones (Sur-Sur y Norte-Sur) que tienen como objetivo formar asociaciones sostenibles, en las que se mejore la capacidad de los evaluadores locales y su participación tanto en el diseño como en la ejecución de los estudios de evaluación.

Observación relevante. 
Sin embargo, observamos que la implantación de un sistema de seguimiento y evaluación en los países en desarrollo sigue siendo un mito.

En mi humilde opinión, Covid-19 ha reducido la movilidad de los evaluadores internacionales. Sería probable que los especialistas nacionales se encargaran de esta tarea, pero esto no es efectivo sobre el terreno, me pregunto a quién se le asigna ahora la tarea. Es muy sorprendente que en algunas instituciones el mismo personal de ejecución de proyectos se considere evaluador con un equipo de auditores, lo cual es escandaloso.

Volviendo a LEWIS! para la RDC, yo mismo pensaba que el Ministerio de Planificación tenía un servicio de seguimiento y evaluación. Es inadmisible que no se conozca el importe total de la financiación externa recibida por el país y que se pretenda controlar su uso. 

La reafirmación de la fiabilidad sería un paso consecuente de un seguimiento riguroso de la gobernanza de los proyectos.

Estimada Isha,

Un saludo desde Indonesia.

Estoy de acuerdo con Lewis y Abubakar, 

1-2. La mayor parte de la evaluación en los proyectos de desarrollo la lleva a cabo un individuo o un equipo, un equipo que suele representar a una organización consultora de evaluación. Durante la pandemia de Covid19, la evaluación se vuelve más flexible en cuanto a la subcontratación de algunas de las actividades de evaluación al individuo local o a un equipo debido a la limitada movilización. Por ejemplo, la realización de la recogida de datos sobre el terreno y la introducción de datos, después de una formación intensiva en línea sobre cómo llevar a cabo los trabajos de campo. Así, la responsabilidad principal, como la gestión de la evaluación, el análisis y la elaboración de informes, sigue estando en manos de los consultores u organizaciones de consultoría contratados. 

3. Para la evaluación, la financiación sigue siendo la misma, dependiendo de quién necesite la evaluación y con qué propósito. En el proyecto, los fondos para la evaluación suelen ser muy reducidos (re. menos del 5% del presupuesto total del proyecto), por lo que normalmente el proceso de evaluación también implica la recogida de datos del sistema de seguimiento interno del proyecto evaluado y el uso de metodologías más poco rigurosas o actividades costosas.

4. El reto de subcontratar algunas de las actividades de evaluación fue 1). cómo garantizar la calidad de la recogida de datos y las aportaciones, 2). cómo equilibrar las expectativas del cliente frente a la realidad in situ, también 3). Durante la pandemia, la región aislada se convirtió en otro reto para acceder a los encuestados con una infraestructura de comunicación limitada.   

Salud, 

Hiswaty 
 

¿Cómo se está gestionando esta transferencia de responsabilidades? ¿Qué instituciones están involucradas? ¿Gobiernos, universidades, organizaciones no gubernamentales, empresas de consultoría o particulares?

En primer lugar, en mi país no existe ningún organismo o institución con el mandato o la responsabilidad de realizar el seguimiento y la evaluación de las acciones del gobierno, de las ONG o de otras instituciones internacionales como en Sudáfrica (Seguimiento y Evaluación, Oficina de la Comisión de Servicios Públicos de Sudáfrica) o en Colombia (SINERGIA). En la República Democrática del Congo, el Ministerio de Planificación es el encargado de planificar y programar la política de desarrollo económico y social del país. Cuenta con 9 direcciones, entre ellas una de "estudios y planificación" y más de 7 comités y 4 células, una de las cuales se encarga de los proyectos y la contratación pública y otra del control y el seguimiento, etc., pero el mandato y el papel nunca se han aclarado y siguen sin desempeñarse.

Ninguna de nuestras universidades o instituciones de formación ofrece un curso de grado en Seguimiento y Evaluación, excepto nuestro Instituto Superior de Desarrollo Rural que tiene una rama en el nivel de máster2 "Licencia" con una opción en "Planificación Regional". Aquí es donde se ofrecen algunos cursos relacionados con el seguimiento y la evaluación. Esto nos lleva a la conclusión de que hay una falta clamorosa de competencias en materia de seguimiento y evaluación.

La mayoría de las evaluaciones independientes son organizadas por personas individuales: pueden presentarse como un solo individuo, como un dúo o como el jefe de un centro de estudios o asociación. Sus perfiles: (i) a menudo son antiguos empleados de las ONGI (que se han convertido en consultores independientes o siguen en activo, pero actuando en su tiempo libre como autónomos); (ii) a veces son profesores o asistentes universitarios que actúan de forma autónoma, sin la participación directa de sus respectivas universidades. Los grandes proyectos del Banco Mundial, del BAD y de algunas agencias de la ONU equiparan muy a menudo a estos universitarios con las ONGI que recurren a ellos para este primer perfil. En la actualidad, incluso los proyectos del Banco Mundial utilizan este primer perfil, ya que el segundo es demasiado teórico, los informes son muy largos (pero bien redactados) y a menudo se presentan con retraso porque sus autores están demasiado ocupados con otras prioridades.

Las evaluaciones dentro y/o durante el transcurso del proyecto son a menudo obra de uno o varios funcionarios contratados por el proyecto o la ONG en cuestión (con la consiguiente cuestión de la independencia real de estos funcionarios bajo autoridad jerárquica, muy a menudo expatriados).

¿En qué medida se están asumiendo estas responsabilidades? ¿Siguen limitándose a la recopilación y análisis de datos, o han aumentado en materia de gestión de las evaluaciones?

Para el primer perfil de profesionales del seguimiento y la evaluación, muy a menudo su responsabilidad se limita a la recogida de datos y/o al apoyo de consultores internacionales. No hay una verdadera transferencia de competencias, ni autoridad para la toma de decisiones en las fases anteriores o posteriores a la evaluación. A modo de ejemplo: una vez que el informe ha sido redactado por el consultor y validado por la jerarquía administrativa de la ONG, aunque los enfoques o las opiniones sean divergentes entre el consultor y el personal responsable del seguimiento y la evaluación dentro del proyecto, es muy raro que se dé la razón al personal local.

En cuanto al segundo perfil, muy a menudo gozan de un crédito de confianza inicial, por lo que suelen ser llamados para las evaluaciones básicas o finales. Se les da rienda suelta en el diseño y la planificación de las herramientas de encuesta. Muy a menudo son maestros en la redacción de los informes finales. A veces los datos están bajo la autoridad de otros, y la interpretación, el análisis de los datos y la redacción del informe se dejan en manos de otros.

¿Cómo se financia este trabajo? ¿Los costes son asumidos únicamente por los gobiernos o los donantes contribuyen con fondos previamente asignados para el personal o los consultores de los donantes?

El 95% de los costes de las evaluaciones corren a cargo de los donantes. Con la cuestión de la rendición de cuentas en boga: la existencia de un sistema de seguimiento o mecanismo de rendición de cuentas forma parte ahora de las condiciones o criterios de selección de proyectos. El verdadero reto sigue siendo la asignación del presupuesto, normalmente entre el 3% y el 7% del presupuesto total del proyecto debería estar disponible para el seguimiento y la evaluación, pero pocos proyectos respetan esta proporción, especialmente el aspecto relativo a la capacitación del personal en relación con el seguimiento y la evaluación.

¿Qué dificultades hubo? ¿(a) falta de personal capacitado; (b) falta de financiación; (c) problemas de presión entre homólogos que dieron lugar a informes optimistas; (d) otros problemas?

(i) Falta de personal formado; la pandemia de Covid19 agrava esta deficiencia. Con las restricciones de movimiento, los profesionales del seguimiento y la evaluación deben recurrir a la localización de recursos o a la tecnología. Ambas cosas hacen mucha falta en mi país.

(ii) Falta de financiación; como la cultura organizativa de seguimiento y evaluación está todavía en pañales en muchas organizaciones, el personal de los departamentos de seguimiento y evaluación suele tener que agitar las cosas para llamar la atención de los responsables del presupuesto. Como consecuencia directa, las visitas se reducen a su estricto mínimo. La formación apoyada por el proyecto es casi inexistente.

(iii) problemas de presión de los compañeros que conducen a informes optimistas; debido a la falta de esta cultura y formación, muchos compañeros perciben al personal de M&E como policías y/o pesimistas que ven el gusano medio vacío. Por desgracia, si la jerarquía no está abierta a la crítica, esta actitud puede exacerbar la tensión interrelacional e incluso poner en peligro la integridad moral y/o física de algunos oficiales (yo mismo fui una víctima en Tanganica).

(iv) otros problemas: inseguridad o inestabilidad en las zonas de trabajo. A modo de ejemplo: la noticia de la muerte del embajador italiano en el este de la RD del Congo durante una misión de control sobre el terreno.

[Note that this contribution was originally submitted in French]

Con Covid-19 veo a los consultores nacionales de mi país más implicados en la evaluación. Aquí algunas respuestas a las preguntas propuestas:

1. ¿Cómo se gestiona este cambio de responsabilidad? ¿Qué instituciones están implicadas: gobierno, universidades, ONG, empresas de consultoría privadas o particulares? 

En mi contexto, veo tres entidades mayoritariamente implicadas en la evaluación: las consultoras privadas (en su mayoría), las universidades y las ONG. Las universidades son muy teóricas y buscan detalles que no pueden encontrar sobre el terreno; suelen redactar informes largos y exigentes. 

2. ¿En qué medida se está asumiendo esta responsabilidad? ¿Sigue limitándose a la recogida y el análisis de datos, o incluye una mayor responsabilidad en la gestión de la evaluación?

Veo ambas cosas. Algunas empresas de evaluación se encargan de toda la organización, coordinación y colaboración del proceso de evaluación en nombre de la unidad de evaluación. Otras sólo se encargan de la recogida y el análisis de datos. 

Ambas son designadas como Consultores Nacionales o consultores nacionales de evaluación. 

3. ¿Cómo se financia este trabajo?

Creo que siguen prevaleciendo las contribuciones de los donantes y que los presupuestos de la mayoría de los programas incluyen el presupuesto de la evaluación.

Creo que debido a Covid19 no hay muchos efectos de costes debido a la menor participación de las consultorías internacionales. En mi caso, la mayoría de las veces me contratan por días o con una cifra fija con perdiem.

4. ¿Cuáles son las dificultades encontradas? 

Sobre la formación: los recolectores de datos necesitan ser formados para la tarea aunque ya estén formados.

En cuanto a la elaboración de informes: suele ser la tarea del consultor nacional. Es un gran reto y es donde la experiencia entra en juego. Si tienes experiencia en trabajar en la evaluación de programas nacionales, haces las cosas correctamente.  La mayoría de las veces hay que identificar el proceso, seleccionar los documentos e identificar a las partes interesadas.  En la mayoría de los casos hay que rediseñar las preguntas y los métodos para adaptarlos al contexto local. 

Entre los retos a los que se enfrentan los evaluadores debido a Covid 19 también se encuentran

más revisión y zoom de la entrevista en función de las preguntas establecidas de antemano. Sin embargo, ambas partes deben conocer bien la tarea y el programa en detalle. 
reuniones de entrevista: muchos no se sienten cómodos (sectores gubernamentales y de base) con las entrevistas de zoom. 
Si no se puede organizar bien la plantilla, será un poco difícil informar. 

Buenos días,

Todavía no he observado ningún cambio de equipos internacionales visitantes a especialistas locales.  Los equipos internacionales suelen tener socios locales, por lo que sospecho que el cambio no se produce en todos los países.

Gracias
Abubakar Muhammad Moki