En 2020, la Oficina de Evaluación Independiente del Fondo Internacional de Desarrollo Agrícola realizó una evaluación de un proyecto del Programa Nacional de Empoderamiento de las Comunidades en Indonesia.[1] Era un proyecto de desarrollo impulsado por la comunidad en las provincias de Papúa y Papúa Occidental, en la región más oriental de Indonesia. Estas provincias se caracterizan por su aislamiento geográfico, la falta de infraestructuras, la escasa presencia de estructuras gubernamentales, los conflictos civiles en algunas zonas y las numerosas poblaciones indígenas.
El brote de la enfermedad por coronavirus (COVID-19) —que se produjo al inicio del proceso de evaluación— impidió realizar viajes internacionales. La movilidad de los consultores locales también estuvo muy restringida, debido al riesgo de propagar el virus entre las poblaciones indígenas durante las visitas presenciales. Como consecuencia, la evaluación tuvo que adoptar una metodología de recopilación de datos a distancia, sin realizar visita alguna sobre el terreno.
Aunque la metodología proporcionó algunas conclusiones útiles, afectó al alcance e inclusión del enfoque. En particular, la evaluación no pudo lograr su propósito original de contribuir al aprendizaje mutuo y al empoderamiento comunitario.
Los retos de la “evaluación a distancia”
La evaluación de los proyectos de desarrollo impulsado por la comunidad requiere una interacción intensiva y exhaustiva con las partes interesadas. El aislamiento de la zona del proyecto y la falta de cobertura de telefonía móvil impidieron abarcar un número elevado de grupos comunitarios. El muestreo representativo de éstos —basado en la naturaleza de las intervenciones y las características sociales— se vio limitado por la escasa calidad de los datos de seguimiento y evaluación (SyE). No había un sistema de SyE participativo y fiable, ni datos fidedignos sobre productos o resultados que pudieran haberse utilizado en la evaluación. Los únicos datos disponibles —aunque incompletos— eran la lista de aldeas del proyecto y los grupos en éstas.
Al mismo tiempo, los métodos de recopilación de datos no pudieron incluir observaciones directas, discusiones de grupo interactivas, grupos de discusión o entrevistas personales, que habrían permitido verificar los resultados en tiempo real.
La falta de cobertura de telefonía móvil en Papúa y Papúa Occidental supuso otro desafío, que limitó el tamaño de la muestra. Además, incluso para entrevistar a un único encuestado, eran necesarias varias llamadas para lograr establecer una conexión.
En consecuencia, fue preciso limitar el tamaño y representatividad de las comunidades seleccionadas —a modo de muestra— para esta evaluación. Por tanto, el equipo de evaluación adoptó una estrategia de entrevistas de estructura vertical, y decidió apostar por la trascendencia de la muestra seleccionada y no por su amplitud. De este modo, el equipo pudo garantizar la validez interna de los resultados.
La solución: un enfoque vertical de muestreo y recopilación de datos
La evaluación adoptó un enfoque ascendente. Para ello, se examinaron las experiencias y beneficios percibidos por los grupos comunitarios: en primer lugar, a través de entrevistas y, posteriormente, verificando éstas con las perspectivas y opiniones del personal del proyecto, entre ellos los facilitadores en aldeas, distritos y regencias.
La estrategia de entrevistas y recopilación de datos adoptó una estructura de facilitación vertical, compuesta por grupos comunitarios y facilitadores en aldeas, distritos, regencias y provincias.
En primer lugar, las aldeas se seleccionaron por medio de un procedimiento de muestreo aleatorio simple en cada provincia, utilizando la base de datos de aldeas disponible; a continuación, la evaluación seleccionó una muestra aleatoria de grupos en cada una de las aldeas seleccionadas. Una vez identificados los grupos comunitarios a los que se realizaría una entrevista, se identificó y entrevistó también a los facilitadores en las respectivas aldeas, distritos y regencias, que les prestaban apoyo de manera directa e indirecta. Las preguntas para cada nivel de la estructura de facilitación no se formularon hasta que se completaron las entrevistas para el correspondiente nivel inferior. La estrategia de entrevistas verticales permitió a la evaluación examinar aquellas dificultades puestas de manifiesto durante las entrevistas realizadas en un nivel inferior de la estructura de facilitación y confirmarlas en las conversaciones mantenidas en el nivel superior de la estructura, y viceversa.
Figura: Enfoque de muestreo vertical conforme a la estructura de facilitación del proyecto
Dificultades en el proceso de evaluación a distancia
Incapacidad de establecer contacto con los grupos comunitarios seleccionados debido a la falta de cobertura de telefonía móvil. Diversidad lingüística en Papúa y Papúa Occidental y poca fluidez en la lengua vehicular (bahasa Indonesia): En vista de la escasa fiabilidad de la cobertura para teléfonos móviles, los consultores locales realizar una llamada introductoria para concertar una cita con los grupos de forma que pudieran estar presentes en una zona con mejor cobertura. Dada la diversidad lingüística de las poblaciones indígenas, el equipo de evaluación optó también por enviar las preguntas de la entrevista en bahasa Indonesia antes de la cita, a fin de garantizar que los miembros del grupo pudieran preparar sus respuestas en esta lengua. De este modo, el equipo de evaluación aprovechó al máximo el escaso tiempo disponible y la limitada cobertura. En aquellos casos en los que las llamadas no se podían escuchar lo suficientemente bien debido a la cobertura de la red, los entrevistados grabaron en video las respuestas a las preguntas pendientes y las enviaron por WhatsApp.
Saturación de intervenciones de desarrollo e incapacidad para distinguir entre los diferentes programas: Papúa y Papúa Occidental tienen importantes programas públicos y numerosos proyectos financiados por donantes. El equipo de evaluación concluyó que los grupos objetivo no eran capaces de distinguir entre los distintos programas. Para solucionar esto, se utilizó la llamada introductoria para presentar la evaluación y aclarar en qué proyecto se centraría.
Comunicación con las mujeres de las comunidades: La evaluación trató de comunicarse con las mujeres de las comunidades a través del teléfono. Sin embargo, en algunos casos, la evaluación descubrió que los hombres les quitaban el teléfono mientras las mujeres hablaban con los consultores nacionales, e insistían en que el equipo de evaluación debía hablar con ellos. El equipo de evaluación tuvo que ser cuidadoso para evitar cualquier consecuencia grave para las mujeres, dado el elevado nivel de violencia doméstica prevalente en Papúa y Papúa Occidental. En estos casos, el equipo de evaluación continuaba la entrevista con el hombre que había cogido el teléfono, formulándole una o dos preguntas antes de dar por finalizada la llamada. A continuación, la mujer inicial era sustituida de manera aleatoria por otra mujer de la comunidad, a fin de garantizar la integridad de la muestra.
Reflexiones finales sobre la metodología de evaluación
El desarrollo impulsado por la comunidad deja el control de las decisiones y los recursos a las comunidades. Deben tomar decisiones informadas sobre cómo quieren utilizar los recursos locales, quiénes se beneficiarán y cómo lo harán. Por tanto, las comunidades han de participar en la evaluación desde el principio. El SyE participativo habría sido un elemento clave de un conjunto de herramientas de evaluación con diferentes métodos. Lo ideal sería que los indicadores de las personas se convirtieran en los indicadores más importantes del cambio. En esta evaluación de los resultados del proyecto, los propios agricultores explicaron los cambios experimentados con afirmaciones como éstas: “los estudiantes vinieron a vernos y aprender de nosotros”, “otras aldeas vieron que teníamos conocimientos sobre el cultivo de la nuez moscada y lo reconocieron”, “ahora queremos formar una cooperativa”; “no obtuvimos ningún beneficio, sólo sabemos que necesitamos estar en un grupo para beneficiarnos en el futuro”; “no ha cambiado nada, aún tengo que vender yo mismo mis productos”. Tanto las afirmaciones positivas como las negativas proporcionaron información importante sobre los tipos de indicadores que podrían ser valorados por las comunidades.
Para concluir, esta evaluación ha podido aportar información valiosa sobre este proyecto, a pesar de los extraordinarios desafíos. En cierta medida, pudo recabar también la opinión de los participantes sobre lo que ha funcionado y lo que no. El equipo llegó a la conclusión de que, en un contexto limitado a causa de la pandemia, es preferible realizar una evaluación a distancia que no hacer ninguna. Sin embargo, una evaluación a distancia no puede sustituir la necesidad de interactuar de manera presencial con las comunidades y personas afectadas.
[1] Programme Nasional Pemberdayaan Masyarakat – PNPM-Agriculture, en indonesio. El proyecto se rediseñó en 2016 y pasó a denominarse Proyecto de Desarrollo de Aldeas (VDP, por sus siglas en inglés).
Hiswaty Hafid
Sr MRM Manager SwisscontactThank you, Johanna and Prashanth for presenting the evaluation results despite the remoteness challenges to deliver a participatory approach, I enjoy reading. During the pandemic, our organization also face the same situation in less remote areas like Kalimantan and Sulawesi, then forced us to improvise by hiring local consultants to conduct field activities.
Learning from the article and understanding the PNPM project involved abroad range of actors and introduced a new approach of development as we used to (after more than 20 years of Soeharto regime), the community-driven development program probably need baby steps in promoting community participation. Across Indonesia, building community-based institutions outside Bali and Java remain challenges, government-based supports institution at the village level able to sustain because of the continued support from the central government, re. village fund. Despite the growing number of administrative governments (re. new provinces, districts, and villages), good governance is still far from the expectation, the new administrative office is highly dependent on national supports while the community-based development requires some time to transforming, evolving and growing.
So I agree that people-centered indicators are necessary to assess for results of the bottom-up development approach before looking at the in-situ development. Indonesian often perceived development as establishing infrastructure, roads, electricity, schools, etc, this perception also reflecting the national development policy focus across different sectors.