Tropezar de nuevo con la misma piedra - Podemos aprender mucho más del seguimiento y evaluación de proyectos agrícolas

Creo que el consenso general es que el seguimiento es una función integral de la gestión. Dicho esto, uno de los principales hallazgos del informe del Banco Mundial fue la falta de conexión entre seguimiento y gestión. Parece como si se tratara de ámbitos casi independientes. Esta conclusión me permitió relativizar otras perspectivas que obvian la gestión y se centran en las diferencias y la relación (sinérgica) entre el seguimiento y la evaluación.

La desconexión a la que hacía referencia continúa siendo bastante habitual hoy en día. Los especialistas en SyE o los encargados de esta función suelen trabajar de forma compartimentada. Por ejemplo, los procesos de elaboración de una teoría del cambio y/o un marco de resultados suelen estar desvinculados de otros procesos (p. ej. de aprendizaje, financieros, operativos o de toma de decisiones) y personas. El SyE se mantiene al margen de la gestión. Una situación que se ha visto agravada recientemente por el seguimiento por parte de terceros —un contrasentido— y la subcontratación de una de las principales responsabilidades en materia de gestión —el aprendizaje— a “asociados” en el aprendizaje o la evaluación. 

Consideremos el ejemplo de la agricultura. Hace 30 años, había un consenso general sobre la razón de ser del seguimiento: medir los indicadores de rendimiento de los cultivos. El examen y análisis de estos datos ocupaban la totalidad o la mayor parte de los recursos asignados al SyE y constituían una tarea bastante compleja. Poco ha cambiado desde entonces. Me suelo preguntar cómo pueden estas evidencias descriptivas fundamentar decisiones de gestión. Obvia decir que no pueden hacerlo: su objetivo es validar la decisión original de inversión del donante.

Dejar atrás el seguimiento basado en cifras ...

Reflejar resultados numéricos en un diagrama o una matriz no tiene nada de malo. Sin embargo, el seguimiento debe tratar estas cifras como proyecciones, no como “realidades”. La mayoría de los resultados son impredecibles. Los proyectos agrícolas tienen lugar en entornos muy inciertos. El contexto importa. El gran pensador sobre gestión del siglo XX, Edwards Deming, sostuvo que “la gestión basada en objetivos numéricos es un intento de gestionar algo sin saber qué hacer y, de hecho, suele estar basada en el miedo”[i]. También observó que lo más importante que se debe conocer suele ser aquello que se desconoce. Tal y como afirmó en The New Economics, “es erróneo suponer que lo que no se puede medir no se puede gestionar: se trata de un mito costoso”[ii]. A lo que Deming se refiere es a lo que la comunidad de SyE denomina hipótesis. En este ámbito, las hipótesis son tan importantes o más que los propios resultados. Es una pena que la comunidad de SyE esté obsesionada con indicadores —cualitativos o cuantitativos— y suela dar poca importancia a las hipótesis.

El punto de vista de Deming coincide con mi experiencia de tres años al frente de un departamento de SyE en el Departamento de Desarrollo Agrícola de N'gabu —un pueblo en el valle bajo del río Shire en Malawi— a finales de la década de 1980. La función principal del departamento consistía en recopilar datos anuales sobre la producción de los cultivos. Los resultados principales eran estimaciones de la producción y la productividad, desglosadas por cultivo, distrito, sexo del cabeza de familia y práctica agrícola. Los datos se utilizaban en gran medida para evaluar el rendimiento agrícola de los dos distritos del valle: Chikwawa y Nsanje.

Tras presentar el primer conjunto de resultados, me di cuenta de que los responsables superiores apenas los habían usado. Muy pocos vinieron a mi oficina. La mayoría de los que lo hicieron estaban en misiones de donantes, pertenecían a organizaciones no gubernamentales o eran investigadores o funcionarios del Ministerio de Agricultura o de la Oficina Nacional de Estadística. Los encuestadores de campo tenían poco contacto con los extensionistas. Quería saber por qué mis colegas tenían tan poco interés. Al fin y al cabo, medir estos parámetros llevaba mucho tiempo y era metodológicamente complicado. Me senté con el Director de Extensión Agrícola para analizar los motivos. Me comentó que, si bien los resultados de la encuesta eran interesantes, su utilidad para fundamentar las actuaciones de su departamento y otras divisiones (p. ej. investigación, cultivos y programa de mujeres) era limitada.     

Cuando analizamos qué preguntas podríamos ayudarle a responder, me dio cuatro ejemplos:

1. ¿Qué opinión tienen los agricultores de la labor de los agentes de extensión?
2. ¿Cuántos agricultores adoptan sus mensajes y cómo varía este nivel de aceptación en función del mensaje, el cultivo y el sexo del cabeza de familia?
3. ¿Por qué algunos agricultores adoptan un determinado mensaje? ¿En cuántas de sus parcelas adoptan el mensaje y durante cuántas temporadas?
4. ¿Por qué otros agricultores no adoptan el mismo mensaje y cuáles son los efectos multiplicadores de este rechazo entre los agricultores vecinos?

Lo comenté con mi supervisor, un estadístico del Banco Mundial. Me aconsejó que preparara una nueva encuesta que se centrara en la interacción entre los agentes de extensión y los campesinos. Y que me asegurara de tratar a los agricultores como partes relevantes de un estudio sobre cuestiones que les importaban, y no como elementos de una encuesta que solamente interesaba al encuestador. También me recordó que, desde un punto de vista matemático, establecer tendencias estadísticamente significativas del rendimiento de los cultivos de secano durante un programa quinquenal es imposible, al igual que atribuir dicha evolución a una intervención concreta. Me dijo que estos indicadores se pueden medir, pero añadió que “la ignorancia de hacerlo sólo es superada por la ingenuidad de quienes creen que los valores obtenidos se corresponden con la realidad”.

Fue una lección valiosa para un joven profesional del SyE. Para que mi equipo y yo conectáramos con nuestros colegas, teníamos que aportar evidencias que les resultaran útiles: información sobre la respuesta de los agricultores al apoyo de los agentes de extensión y la variación de ésta. Comprender esto proporcionó una base para erradicar el rechazo de los agricultores y replicar el éxito de quienes habían hecho suyos los consejos recibidos.

 ... y volver a tropezar con la misma piedra

A día de hoy, los programas de desarrollo de sistemas de mercado en el sector agrícola están diseñados para aumentar los ingresos agrícolas de quienes están desatendidos o excluidos de dichos sistemas, de los que dependen los campesinos y sus familias. Estos programas pretenden facilitar o desencadenar cambios en el comportamiento y las relaciones entre los “actores del sistema”: quienes compran/venden a los agricultores en mercados de productos/insumos; quienes establecen y hacen cumplir las normas, ya sean de gobiernos locales y/o nacionales o indígenas; y quienes proporcionan servicios de apoyo, como información, conocimientos, tecnología y dinero.

En otras palabras, los programas de desarrollo de sistemas de mercado no prestan servicios al agricultor de forma directa, sino que pretenden impulsar cambios en funciones específicas de dichos sistemas que requieren una mejora. Sin embargo, casi todos los marcos de resultados o teorías del cambio que he visto para este tipo de programas se centran en la producción o la productividad, y no en un cambio sistémico, a nivel de resultados.

Esto suele tener consecuencias negativas para el SyE. El fundamento sistémico de los programas de desarrollo de sistemas de mercado suele verse afectado. Se presta mayor atención a medir las supuestas consecuencias de los cambios a nivel de las explotaciones agrícolas y los agricultores, en lugar de centrarse en los cambios de los propios sistemas. Los costes de oportunidad no son precisamente irrelevantes. Radican en proporcionar evidencias que no obvien la hipótesis principal y la demuestren realmente: que los actores del sistema conocen y dan respuesta a las necesidades de un número creciente de agricultores pobres. Evidencias que demuestren —o no— que los mercados trabajan en favor de la población pobre.

Entonces, ¿por qué los sistemas de SyE —supuestamente diseñados para generar enseñanzas a partir de la experiencia— han sido tan lentos o reacios a hacer esto? ¿Qué piensan ustedes? Me encantaría conocer sus experiencias.