Lal - Manavado

Lal - Manavado

Consultant
Independent analyst/synthesist
Noruega

My interests include food systems, support for culinary enjoyment rather than turning meals into formulae, global health enhancement, policy and strategy and everyone who deprecates reductive, reactive actions.

My contributions

  • Evaluability Assessments: An invitation to reflect and discuss

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Hola, Jackie.

      Si estás dispuesta a considerar que la evaluación consiste en determinar en qué medida una política determinada, su estrategia de aplicación, su puesta en práctica y su actividad sobre el terreno han conseguido mejorar la calidad de vida de un grupo destinatario, entonces tu pregunta tiene una respuesta sencilla. Dicho de otro modo, el problema consiste en determinar si el producto final físico de lo anterior, por ejemplo, una carretera, un hospital, una escuela, apoyo a la agricultura, etc., ha beneficiado realmente a un grupo de personas.

      Por lo tanto, el éxito de una acción que debe evaluarse no puede medirse por la excelencia técnica de tales productos finales, algunos de los cuales pueden ser intangibles a primera vista, por ejemplo, una política. Para evaluar el éxito o el fracaso de una política, hay que determinar en qué medida ha beneficiado a un grupo destinatario.

      Es aquí donde uno se topa con una serie de dificultades:

      • ¿Está dispuesta la mayoría de un grupo destinatario a _utilizar_ el producto final de un proyecto? Si no es así, una carretera excelente, un hospital, etc., pueden servir para el fin previsto, pero no beneficiarían a la población. Las normas culturales y ciertos tipos de intereses creados pueden suscitar una opinión pública contraria, lo que convertiría el producto final en inútil. Estas situaciones son muy difíciles de identificar y, por tanto, de evaluar.
         
      • El grupo destinatario puede ser incapaz de hacer un uso adecuado de un producto final debido a que la mayoría del grupo destinatario es incompetente para hacerlo. La falta de formación pertinente, su olvido en los planes del proyecto, etc., son las principales causas de ello. La evaluación no parece tener en cuenta la importancia de que el grupo destinatario posea esta competencia.

      Saludos cordiales.

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Estimada Amy,

      Muchas gracias por plantear esta cuestión, que tiene tanto el potencial de hacer mucho bien como su contrario.

      Mi punto de partida con respecto a la evaluación es muy sencillo: ¿se ha podido/puede alcanzar un conjunto de acciones destinadas a mejorar la vida de un grupo destinatario?

      Si la respuesta a esta pregunta es no/marginalmente/parcialmente, el conjunto de acciones emprendidas es de algún modo defectuoso. Sin embargo, tales acciones insatisfactorias pueden dejar tras de sí excelentes autopistas, hospitales especializados, puentes, aeropuertos internacionales, etc.

      La evaluabilidad del grado de consecución de algún bien público es extremadamente difícil. Cuando se deciden proyectos, es decir, un conjunto de acciones, rara vez se consulta de manera significativa los deseos reales de un grupo destinatario. E incluso cuando existe un acuerdo general en un grupo destinatario sobre la conveniencia de un objetivo, puede haber desacuerdo sobre cómo puede alcanzarse ese objetivo. A menudo, esto se debe a las normas culturales dominantes en ese grupo social o a la influencia de algún interés creado externo experto en propaganda.

      Si el evaluador está dispuesto y es capaz de identificar y calibrar el alcance y la naturaleza de esas tres variables durante la ejecución y la conclusión de un proyecto, es posible emprender ajustes correctivos en el mismo para aumentar su éxito. Es cierto que es difícil, pero si se emprende, al final se beneficiaría a un grupo de personas vivas que no son ni tienen necesidades.

      Salud.

      Lal.

  • Management matters: exploring the link between management models and the use of evaluations

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Estimada Ibtissem,

      Para que los resultados de las evaluaciones contribuyan a orientar la formulación de políticas y el diseño de estrategias éstos deben ser lo más sólidos posibles. Tal y como indicas, realizar una evaluación y gestionarla de forma exitosa requiere dos tipos diferentes de habilidades. Confiar ambas tareas a una sola persona tiene varios inconvenientes, como el nivel de competencia requerido en uno de los dos campos, el sesgo personal, etc.

      En cuanto a tu primera pregunta, gestionar una evaluación de manera competente es importante en cualquier tipo de evaluación. Resulta especialmente valioso en las evaluaciones de políticas y estrategias, y en aquellos casos en los que las evaluaciones pueden influir en decisiones estratégicas sobre la ejecución/modificación/interrupción de proyectos/actividades, como las evaluaciones anteriores a los proyectos y las evaluaciones de mitad de período.   

      La gestión eficaz de las evaluaciones implica facilitar la labor de los evaluadores, garantizar la recopilación de datos pertinentes y fomentar el diálogo para perfeccionar las plantillas y metodologías. Por tanto, el responsable de una evaluación se puede considerar un facilitador que complementa el proceso de evaluación.

      Por otro lado, un evaluador competente puede necesitar abundante información de referencia pertinente para determinar las consecuencias medioambientales de una política, estrategia, operación o actividad de campo.  La visión integral de un responsable capacitado puede orientar y ayudar a los evaluadores en sus tareas, enriqueciendo el proceso de evaluación.

      En función de sus respectivas competencias, la interacción entre un responsable de una evaluación y un evaluador puede ampliar sus respectivos conocimientos y experiencia, mejorando así la evaluación.

      Un cordial saludo,

      Lal

      Lal.

  • How are development projects affecting the environment and how do we evaluate this impact?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Lal analiza la importancia de evaluar el impacto medioambiental de los proyectos de desarrollo y reconoce la dificultad de establecer indicadores de aplicación universal. Sugiere un planteamiento flexible basado en un análisis minucioso de las propuestas de proyectos y las zonas destinatarias, aprovechando tanto los datos científicos como la experiencia local.

       

      Contribución completa disponible en inglés


       

  • Artificial intelligence in the context of evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      En primer lugar, la prudencia y el sentido común exigen que antes de aplicar una nueva tecnología a un campo determinado, en este caso la evaluación, se compruebe cuidadosamente lo siguiente:

      1. ¿Existe una necesidad justificada para su uso? Recordemos que la mayoría de las evaluaciones se llevan a cabo en países menos ricos y, por tanto, menos avanzados técnicamente. Por lo tanto, el uso de esta supuesta "tecnología punta" puede hacer que los evaluadores de esos países dependan aún más de los "expertos" de las naciones ricas.
      2. ¿Qué se supone que aporta exactamente la "IA" a la mejora de la evaluación?
      3. Recurrir a la "IA" en la evaluación implica que hay escasez de inteligencia humana entre los evaluadores; cada evaluador debería considerar muy seriamente este aspecto de la cuestión.
      4. Un examen detenido de las cuestiones anteriores no parece justificar la aplicación de la "IA" como herramienta complementaria útil en la evaluación, siempre que ésta se ocupe de determinar en qué medida un conjunto de acciones ha mejorado la existencia humana en un ámbito determinado.

      Salud.

      Lal Manavado.

  • How are we progressing in SDG evaluation?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      Chris señala que sería una buena idea formular, a grandes rasgos, lo que debería hacerse después de 2030.

      Sin embargo, tal empresa sería útil si y sólo si tenemos una noción razonablemente clara de lo que se ha hecho y no se ha hecho con referencia al actual conjunto de ODS a pesar de su falta de cohesión lógica. A este respecto, es difícil ver cómo puede adquirirse tal conocimiento sin la evaluación.

      Una vez que se disponga de este conocimiento, cabe esperar que el próximo conjunto de objetivos de desarrollo posteriores a 2030 se formule de manera que incorpore una mayor cohesión lógica con referencia a las seis necesidades humanas fundamentales dentro de las propias normas culturales de las personas.

      El conocimiento de esas necesidades fundamentales es evidente por sí mismo, y por lo tanto sin jerga, a saber, nutrición con disfrute culinario -después de todo, todavía no somos como máquinas que sólo necesitan combustible-, buena salud, seguridad en su sentido más amplio, educación en su sentido más jutificable, procreación y lo que podría llamarse objetivo no material, que abarca el disfrute estético, los juegos y deportes en los que uno participa y otras formas de entretenimiento. Esto es inmaterial porque su satisfacción no implica ninguna ganancia material.

      La mayoría de los ODS actuales son subsumibles en nuestras necesidades fundamentales, ya que las primeras adquieren un valor como medio directo o indirecto de permitirnos alcanzar alguna necesidad fundamental; por lo tanto, son necesidades secundarias o terciarias que constituyen una red jerárquica interconectada de necesidades humanas cuyas ramificaciones reflejan el estado actual de desarrollo de una sociedad. Este desarrollo puede ser justificable o no, por ejemplo, el fomento del consumismo desenfrenado para lograr el crecimiento económico.

      Salud.

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Hola, Emilia.

      Permíteme empezar con un comentario que va a ser muy impopular y que ya he hecho en otros foros, a saber, que la lista actual de ODS es lógicamente errónea con respecto a las necesidades justificables de la gente. Dicho esto, la evaluación en este contexto se enfrenta a dos retos básicos:

      1. ¿A qué nivel debe llevarse a cabo la evaluación para que sea útil a los responsables políticos y a quienes diseñan la aplicación de las políticas? Es difícil prever que esto se haga si no es a nivel nacional, regional y local dentro de un país. 
      2. Parece haber diversos focos de evaluación; sin embargo, dado que los ODS están pensados para mejorar la calidad de vida de la gente real, es imperativo que los cambios en la calidad de vida sean el foco de la evaluación. Obviamente, esto varía significativamente de un país a otro, por lo que no es posible una estandarización en este sentido.

      Es una lástima que los ecologistas de todo tipo, nutricionistas, grupos de presión sanitarios, etc., no hayan hecho suficiente hincapié en detener el crecimiento de la población mundial y, de hecho, en reducirlo. Si no se hace esto, el resto seguirá siendo quimérico.

      Saludos cordiales.
       

  • How are mixed methods used in programme evaluation?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      Debería haber dicho "actuar en silos", ya que pensar es una acción. Bueno, es una frase que alguien inventó durante los debates que condujeron a la determinación del actual conjunto de ODS. Al fin y al cabo, no es más que otra frase para describir el pensamiento y la acción reductivistas, igual que llamar a una pala una herramienta de atrincheramiento en el campo (ejército estadounidense).

      Antes de continuar, permítanme recapitular mi punto de partida:

      Una buena evaluación de un resultado propuesto o logrado de un proyecto o plan consiste en determinar si es adecuado para cumplir el objetivo previsto en las circunstancias en que se lleva a cabo.

      Obviamente, las palabras clave son "adecuación" y "circunstancias en las que se lleva a cabo". Así pues, debemos tener en cuenta tres elementos: uno fijo, es decir, una finalidad prevista o un objetivo que, sin embargo, puede alcanzarse o no en función de las circunstancias. Permítanme ilustrar esto con la ayuda de dos ejemplos que aparecieron en este foro hace un tiempo.  Uno se refiere a un puente de mil millones de dólares para unir una isla con el continente en un país próspero del norte de Europa, mientras que el segundo es una autopista multimillonaria en un país africano.

      Ambas eran muy adecuadas cualitativa y cuantitativamente; su calidad técnica era excelente y su capacidad, grande. En ambos casos, se ignoraron totalmente algunas circunstancias críticas que condujeron a su fracaso con respecto a los objetivos previstos. En este caso, el enfoque reductor hizo que la calidad y la cantidad fueran en contra de los objetivos del proyecto.

      Lo que ocurrió fue lo siguiente: ese puente debía permitir a los residentes de la isla ir en coche a trabajar a una ciudad del continente con cualquier tiempo, lo que sería más fácil que utilizar el transbordador para hacerlo, como venían haciendo. Se esperaba que los peajes de este trayecto cubrieran los gastos de construcción y funcionamiento del puente.

      Pero en cuanto se terminó, los isleños utilizaron el puente para salir de la isla y establecerse cerca de su lugar de trabajo, ¡y utilizando sus antiguas viviendas como casas de veraneo! Así pues, no hace falta decir nada más sobre la importancia de la calidad y la cantidad, ya que los planificadores no tuvieron en cuenta la posibilidad de que los isleños se marcharan. Se vieron obligados a quedarse, porque el transbordador no es un medio cómodo para cambiar de casa.

      En el caso de la autopista, el propósito era iniciar un crecimiento económico en los pueblos por los que pasaba. Se creía que ayudaría a los aldeanos a trasladar sus productos a mejores mercados y a los inversores a entrar en ellos.

      Pero los planificadores no se dieron cuenta de que los aldeanos no disponían ni siquiera de un mínimo de transporte motorizado y que la pobreza de la zona seguía siendo la misma, mientras que una cabra ocasional disfrutaba de un paseo tranquilo por una autopista moderna.

      Así pues, la adecuación de un resultado tiene un componente cualitativo y otro cuantitativo que se rigen por las circunstancias pertinentes en las que se lleva a cabo un proyecto o un plan. En mi nota anterior, señalaba que el suministro de alimentos de emergencia a una zona catastrófica no puede cumplir razonablemente las mismas normas de calidad o cantidad, y habría que ajustarlo para que el suministro fuera adecuado en esas circunstancias 

      Espero que esto aclare un poco mis puntos de vista.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos a Emilia y a los demás miembros!

      Como persona que aprecia el valor de la evaluación en relación con su importancia pragmática para un proyecto en fase de planificación o realizado en una medida determinada, me alegra ver que califica el debate actual de reduccionista.
      Por supuesto, este modo de pensar parece estar muy arraigado en casi todos los campos, y lo que se ha hecho hasta ahora para librarnos de este íncubo parece ser inventar una nueva frase para describirlo, a saber, "pensar en silos". Su extensión a la evaluación da lugar al inevitable debate sobre los métodos cualitativos frente a los cuantitativos.
      Creo que sería fructífero concebir la evaluación como un esfuerzo por determinar la adecuación de un objetivo que debe alcanzarse o lograrse mediante un proyecto. Esta adecuación depende naturalmente de una serie de variables que hay que tener en cuenta y que a su vez varían según las circunstancias. Pondré algunos ejemplos:

      1. La adecuación del suministro de alimentos en una zona siniestrada no puede medirse con respecto a la necesidad de una dieta variada y equilibrada para el grupo destinatario.
      2. La adecuación de un programa educativo debe determinarse en función de su utilidad para quienes se supone que van a beneficiarse de él. En este sentido, a menudo se oye hablar de la necesidad de que la población posea conocimientos de lectura, escritura y aritmética, mientras que lo que puede hacer con esos útiles atributos siempre queda poco claro.

      En resumen, algún día la evaluación podrá referirse a la adecuación de un resultado con respecto a su calidad y cantidad óptimamente alcanzables en un conjunto de circunstancias existentes.

      Saludos cordiales.

      Lal.

  • Can visual tools help evaluators communicate and engage better?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos
      He leído con cierto interés el correo electrónico original sobre este tema y las primeras respuestas. Sin embargo, estoy un poco perplejo: es obvio que cualquier evaluación sólo puede realizarse en relación con un objetivo determinado. Para mí, el único objetivo justificable de una evaluación es determinar si un proyecto, programa, etc. puede alcanzar o ha alcanzado la finalidad prevista con respecto al grupo destinatario.  Dicho grupo puede ser un grupo de estrategas, de diseñadores de operaciones o de trabajo de campo.

      Por lo que veo, es difícil comprender cómo puede visualizarse dicho objetivo: llegar a la población destinataria. Sin tal ancla, las visualizaciones quedarían a la deriva como un barco con avería de motor en un mar tempestuoso.
      Salud.
      Lal Manavado.

  • Reporting evaluation results or communicating evaluation results?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      No puedo estar más de acuerdo [con John], y si se me permite decirlo, la suya es una excelente presentación de hechos que con demasiada frecuencia se ignoran o, mejor dicho, se esconden bajo la alfombra por la propia naturaleza del "comitologismo", que parece ser el método preferido para diseñar proyectos y establecer estrategias de aplicación. Los comités constituyen un terreno fértil para diversas formas de juegos de aficionados, la promoción vociferante de teorías o métodos favoritos, por no hablar de algún humilde servidor particular de ese organismo.

      Salud.

      Lal.

  • The pervasive power of western evaluation culture: how and in what ways do you wrestle with ensuring evaluation is culturally appropriate and beneficial to those who legitimise development aid?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos!

      El objetivo de esta nota es proporcionar un marco de referencia que facilite a un evaluador/experto en seguimiento tener en cuenta los elementos culturales relevantes que deben incorporarse a los procesos de evaluación o seguimiento.

      Sin embargo, esto no es tan sencillo como puede parecer, ya que la evaluación puede dividirse en tres niveles distintos sobre los que los factores culturales pueden tener efectos muy diferentes.

      Empecemos por el nivel más alto, en el que se determina el objetivo de un plan/proyecto/programa. Aquí, asumiendo que la utilidad de alcanzar ese objetivo es demostrable, uno se preocupa de la cuestión de si ese objetivo es culturalmente neutral o no. Como ejemplo extremo, se puede citar la educación primaria para todos los niños, pero en algunas culturas, su inclusión de las niñas puede conducir a resultados imprevistos.

      En el segundo nivel, nos enfrentamos a la cuestión de si los medios estratégicos utilizados para alcanzar nuestro objetivo son culturalmente aceptables. Por ejemplo, la decisión de subcontratar la ejecución de un proyecto a una fuente muy avanzada técnicamente puede alcanzar su objetivo por el momento, pero los beneficiarios locales pueden no ser capaces de mantenerlo a largo plazo debido no sólo a las diferencias en la competencia técnica y los recursos, sino también a una ética de trabajo divergente.

      Por último, la propia metodología operativa utilizada sobre el terreno puede contener elementos culturalmente objetables. A veces, no es posible evitarlos, salvo recurriendo a otros métodos menos eficaces.

      Un saludo.

  • Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?  

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Sobre la rendición de cuentas

      Si me dijeran que tengo que rendir cuentas de ciertos actos míos, me encontraría en una posición muy incómoda si no supiera...

         - De qué debo rendir cuentas y

         - A quién debo rendir cuentas.

      Por lo que veo, no podría dar una respuesta sensata a la pregunta de si he rendido cuentas con éxito de mis acciones a menos que haya recibido respuestas razonables a estas dos preguntas.

      Ahora bien, si mis acciones se guían por las normas de varios grupos, por ejemplo, los proveedores de fondos, la poltronería política, etc., por un lado, y una o varias necesidades concretas de un grupo social, por otro, mi posición será extremadamente difícil con respecto a las dos preguntas anteriores.

      Entonces, ¿mis acciones deben rendir cuentas con referencia a ---

         - Las normas del proveedor de fondos,

         - Una parcela de los políticos o

         - Una o varias necesidades concretas de un grupo social que mis acciones pretenden satisfacer?

      Hasta ahora en este debate, la mayoría de los participantes parecen creer que las respuestas a las preguntas anteriores son conciliables. De hecho, en un mundo cooperativo sería así, pero la mayoría de la gente defiende un entorno competitivo.

      La misma dificultad se hace aún más patente cuando hay que enfrentarse a los proveedores de fondos, los políticos y los representantes más vociferantes de un "grupo objetivo".

      Tal vez sea hora de que los evaluadores se detengan un momento a comprobar cuidadosamente sus premisas básicas, pues cuando nos enfrentamos a lo que puede parecer irreconciliable, un examen imparcial de nuestras premisas nos mostraría que una o varias de ellas son insostenibles.

      El lector perspicaz ya se habrá dado cuenta de que "neutralidad", "imparcialidad" y "objetividad" son términos relativos a las normas utilizadas por los proveedores de fondos, los políticos, los grupos de destino, por no hablar de lo que se llama humorísticamente "medios de comunicación". En estas circunstancias, la "independencia" se convierte en una noción extremadamente cuestionable.

      Salud.

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos!

      Después de los lúcidos comentarios de Silva Ferretti, sólo puedo decir que no puedo estar más de acuerdo.

      Salud.

      Lal.

  • Reporting and supporting evaluation use and influence

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos!

      Con demasiada frecuencia, las personas que se dedican a un campo, empiezan a perder el "todo" debido a su propia especialización. Es muy fácil no ver el bosque por una especie concreta de árbol, arbusto o mata. Este reductivismo es demasiado familiar para la mayoría, y algunos incluso han inventado una nueva frase para describirlo, a saber, "pensar en silos".

      Tal vez, alguien que no esté agobiado por la experiencia de un campo específico podría ver lo que se le podría haber escapado a un profesional. Al fin y al cabo, Shakespear y James Watt no asistieron a cursos universitarios en sus áreas, pero consiguieron mucho. Así pues, un humilde evaluador podría ver lo que se le ha escapado a un experto con metros de experiencia.

      Salud.

      Lal.

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      En cuanto a la capacidad de un evaluador para sugerir un enfoque mejor para resolver un problema, creo que hay que tener en cuenta dos aspectos del asunto.

      En primer lugar, una evaluación se lleva a cabo para determinar el grado de éxito de un determinado enfoque para alcanzar un objetivo predeterminado. En mi ejemplo, se trataba de mejorar la salud pública de un país sin nombre. Las autoridades políticas optaron por una unidad cardiaca ultramoderna en la capital de un país donde apenas había atención sanitaria primaria para la mayoría.

      Durante la evaluación previa al proyecto, esto resultaría obvio para un evaluador que observara la realidad tal y como es, y no como un ejercicio académico. Es cierto que no siempre es tan sencillo como parece. Aun así, creo que un evaluador que no tenga miedo de aplicar su sentido común a las realidades locales existentes en un lugar determinado sería capaz de hacer algunas sugerencias sensatas sobre algunos cambios genéricos en un plan destinado a alcanzar un objetivo. El evaluador puede no ser competente para recomendar una acción específica, pero los cambios genéricos deberían estar a su alcance.

      En el ejemplo de la "sanidad pública", es obvio para un evaluador informado que la atención sanitaria primaria tiene una prioridad lógica sobre una unidad cardiaca de lujo de utilidad limitada. Por supuesto, no sería competente para recomendar los pormenores de cómo puede establecerse ese sistema de atención sanitaria.

      Salud.

      Lal.

      P.D:

      Recordemos que la evaluación tiene que ver con la mejora de la calidad de vida de las personas reales de alguna manera, y no debe confundirse con una empresa abstracta que trata de entidades teóricas.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Saludos.

      He seguido este debate con interés, y me parece que lo que se intenta hacer aquí es que la evaluación debe provocar un cambio deseable en la forma en que una política/estrategia/táctica, es decir, una aplicación sobre el terreno, pretende alcanzar su objetivo. De lo contrario, la evaluación no sería más que "mucho ruido y pocas nueces". Ya sea un informe impresionante o un conjunto de gráficos coloridos. En este sentido, no puedo estar más de acuerdo con Silva.

      Otros participantes ya han señalado varios obstáculos al progreso, como la conveniencia política, la incompetencia, la corrupción, la indiferencia de los responsables, la falta de recursos, la injerencia inaceptable de los donantes, etc. Todo esto supone que se ha entendido una determinada evaluación, pero...

      Difícilmente podemos dar por sentado este "entendido"; creo que este es el punto que Silva está planteando aquí. Si estoy en lo cierto, la cuestión es entonces qué forma precisa debe adoptar una evaluación para facilitar esa comprensión, esperando que pueda inducir a los responsables políticos/estrategas/planificadores de campo a revisar su enfoque para alcanzar un objetivo predeterminado.

      En otras palabras, la evaluación guiaría entonces la revisión del enfoque anterior hacia la consecución del mismo objetivo. Este proceso puede tener que repetirse ya que otras condiciones que influyen en la consecución de un objetivo podrían cambiar. Un ejemplo extremo de tal influencia es la actual infección de Corona.

      En este caso, hemos identificado dos problemas básicos:

      1. Cómo hacer que los "planificadores" entiendan una evaluación.

      2. Cómo inducirles a revisar sus planes en función de una evaluación.

      Parece que esto es mucho más difícil, sobre todo teniendo en cuenta los obstáculos que acabamos de mencionar.
      Sin embargo, limitándonos a nuestra primera pregunta, podría sugerir que una evaluación adopte la forma de una breve crítica de las acciones genéricas que encarna un plan. Como ejemplo concreto, digamos que un plan sugiere que, para mejorar la salud pública, las autoridades prevén instalar una unidad cardiaca ultramoderna en la capital de un país. El donante está lleno de entusiasmo y respalda el proyecto. Mientras tanto, el país implicado apenas ofrece atención sanitaria primaria a sus ciudadanos.

      En mi opinión, la evaluación previa al proyecto sería breve y lúcida, y diría lo siguiente

      "Este proyecto tendría un efecto beneficioso extremadamente limitado en la salud pública del país, y se propone que los fondos y recursos humanos disponibles se destinen a prestar atención primaria en centros situados en X, Y, Z, etc.". Esto es algo que ha ocurrido realmente y he suprimido los nombres del país y del donante. No creo que el informe de evaluación real se pareciera en nada a mi versión, pero debió de ser impresionante por su grosor e inutilidad.

      Entonces, ¿están los evaluadores dispuestos y son capaces de concentrarse en lo práctico y guiar las manos que les dan de comer hacia algún bien común con pocas y lúcidas frases sin jerga?

      Salud.

      Lal.

       

  • Cohérence des interventions dans le secteur agricole

    Discussion

  • How do we move forward on Evaluation Systems in the Agriculture Sector?

    Discussion

  • Racism in the field of evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludo!

      En este debate se han presentado bastantes ejemplos de "racismo" en la evaluación. Sin embargo, me resulta difícil entender cómo esta conciencia podría permitirle a uno lidiar con ello. Por supuesto, uno podría compilar un largo documento sobre tales ejemplos y hacerlo ampliamente disponible. Aún así, ¿cómo va a ayudar eso?

      Mi siguiente punto es que el término "racismo" no está bien elegido. Lo que hace es confinar un cierto subtipo de discriminación a las diferencias en el color de la piel. Hay muchos ejemplos de tal discriminación incluso dentro de grupos del mismo color de piel.

      Por ejemplo, digamos entre personas de piel de color X, este tipo de discriminación puede ocurrir a través de las siguientes barreras:

         1. La división urbana y rural.

         2. A qué escuela/universidad asistió uno.

         3. La religión.

         4. Sexo.

         5. Casta/clase social.

         6. Nepotismo y corrupción.

      La discriminación del tipo en cuestión puede estar motivada por una o más de las seis razones dadas anteriormente dentro de un grupo con el mismo color de piel. Creo que sería poco sólido ignorarlas, pero para evitar excluirlas, hay que ver el problema como una instancia de discriminación más que de racismo.

      En cuanto a la forma de resolver este problema, hay que señalar que se trata de una cuestión social derivada de la falta de normas éticas. Tenga en cuenta que hablo de una ética secular que prefiero llamar normas de decencia común. Sería ingenuo creer que las medidas legales podrían ser de ayuda porque hay una gran diferencia entre tener las "leyes correctas" en los libros de leyes de un país, la firma de convenciones internacionales por un lado, y su aplicación real por el otro. Por lo tanto, creo que llevaría algún tiempo tratar este problema y que requeriría la educación pública ahora y la incorporación de la ética personal en la educación escolar. Mucho de lo aprendido puede dar a uno la sensación de haber hecho algo, pero eso difícilmente abordaría el problema en el mundo real.

      ¡Mis mejores deseos!

  • Addressing disability inclusion through evaluations in agriculture and rural development

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludo!

      Continuaremos desde donde dejómos en nuestra contribución anterior, que se da a continuación. Evitando todas las expresiones arcanas típicamente en uso, señalemos algunos hechos importantes para las personas discapacitadas reales con referencia a las actividades agrícolas:

         • Ciertas discapacidades como la ceguera o la discapacidad visual grave excluirán a las personas de participar en el trabajo agrícola de cualquier manera significativa.

         • Esto también se aplicará a las personas con movilidad grave a limitada debido a lesiones en la pierna o Mysthenia gravis, etc.

         • Ciertas disfunciones mentales pueden impedir que los enfermos participaran en actividades agrícolas.

         • Por lo tanto, las oportunidades disponibles para las personas con discapacidad en la agricultura son limitadas debido a ciertas discapacidades físicas o mentales de las que sufren. Esta es la situación en la vida real.

         • Sin embargo, las personas sordas y las que sufren de otras discapacidades pueden participar fructíferamente en la agricultura, siempre que lo que planean hacer no les imponga una presión indebida.

         • Lo que esas personas pueden hacer útilmente depende de las condiciones de la vida real que existen en el área que viven. No podemos sugerir ninguna mejora genérica significativa a menos que tengamos información específica del área.

      Esperamos que los planificadores y evaluadores de proyectos comiencen justo allí y comiencen desde el principio en lugar de basar su trabajo en documentos teóricos o académicos. Después de todo, estamos tratando de mejorar la vida de la gente real, ¿no?

      ¡Mucha suerte!

      Lal Manavado.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos!

      Hablando en términos generales sobre la evaluación, no parece haber un acuerdo amplio sobre lo que exactamente se pretende evaluar. Evitando el uso de cualquier jerga, habríamos pensado que lo que realmente importa es evaluar si un proyecto/programa ha logrado mejorar la calidad de vida del grupo objetivo que fue diseñado para beneficiarse. Esto no es lo mismo que la conclusión física exitosa de cualquier esfuerzo de desarrollo. Por ejemplo, en una discusión anterior se llevó a término con éxito una forma motora moderna y un puente para unirse a una isla y la tierra principal había sido citado como esfuerzos vanidosos.

      Hemos señalado que el cumplimiento de los siguientes criterios es esencial para que un proyecto beneficie a su grupo objetivo:

      1. El grupo objetivo es sostenible con respecto a los recursos físicos de que dispone.

      2. La competencia necesaria para ejecutarla y mantenerla se encuentra dentro del conjunto de habilidades disponibles del grupo objetivo.

      3. El proyecto hace una contribución significativa para mejorar la educación en su sentido real, la salud, la nutrición, la seguridad en su sentido más amplio, la procreación y lo que hemos llamado necesidades no materiales. Este último incluye el disfrute estético, es decir, la literatura, la música, etc., la participación en juegos y deportes, etc. Las mejoras en uno o más de ellos aumentarán la calidad de vida de uno.

      Después de estas observaciones introductorias, está claro lo que tenemos que averiguar es cómo y en qué medida las actividades agrícolas pueden contribuir a la calidad de vida de las personas con discapacidad. Esperamos que el trabajo en este ámbito logre lo que es posible lograr en términos claros y concisos.

      ¡Mucha suerte!

      Lal Manavado

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Estimado Sr. Molloy,

      Me alegra ver que usted ha planteado la pregunta, ¿la evaluación aborda los cambios en la calidad de vida de las personas con discapacidad tras la finalización de un programa/proyecto? Naturalmente, tales cambios pueden ser positivos o negativos. Desgraciadamente, algunos esfuerzos de "modernización parecen tener un efecto negativo en los discapacitados, especialmente en aquellos que viven en países menos ricos".

      Por ejemplo, se supone que los documentos pdf son "mejores" que los archivos de texto simples o archivos de documentos. Pero esto no es fácilmente accesible para las personas con discapacidad visual que viven en los países pobres, porque el software necesario para hacer que esos documentos sean accesibles para los discapacitados visuales es demasiado caro para la mayoría de ellos. Por otra parte, los PC necesarios para ejecutarlos son demasiado caros para el grupo de destino nombrado aquí.

      Le sugiero que se ponga en contacto con las organizaciones para las personas con discapacidad en el mayor número posible de países a través de correo electrónico y solicite sus opiniones. Por supuesto, esto puede proporcionar algunas dificultades linguísticas, ya que el personal de muchas de estas organizaciones no habla inglés estándar o sólo conoce su propio idioma.

      Sea como fue, es posible que encuentre algunos bits útiles de información del mundo real de esta fuente. Mientras tanto, soy un poco escéptico con respecto a los materiales publicados, porque por lo general son escritos por las personas locales no discapacitadas que son educadas en las ciudades y tienen poca idea sobre cómo viven las personas con discapacidad en las zonas rurales.

      Espero que esto sea de alguna utilidad para usted, y le deseo todo el éxito.

      ¡Mucha suerte!

      Lal Manavado.

       

  • Peut-on se contenter de l'évaluation seule pour s'assurer de l'atteinte des ODD?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Sí, el seguimiento es importante en la evaluación, pero es necesario entender que a menos que uno haya decidido de antemano lo que exactamente uno va a monitorear, no sirve para ningún propósito útil. Este "qué" está determinado por el logro de qué resultado se va a determinar. Es fácil pasar por alto este hecho lógico vital, y a menudo esto sucede. Por lo tanto, el seguimiento queda lógicamente subsumido por la evaluación para la que está destinado.

      ¡Mucha suerte!

      Lal Manavado.

  • The farmer as a key participant of M&E: lessons and experiences from Participatory M&E systems

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      ¡Saludos!

      Espero que se me perdone por presentar algunas razones justificables para demostrar que el enfoque jerárquico muy difamado no significa dictar a un grupo objetivo ya sean agricultores o cualquier otra categoría de trabajadores reales que realmente hacen el trabajo.

      Por ejemplo, tome el caso de un solo agricultor; Si tiene experiencia, no está necesariamente cargado de diplomas impresionantes en agricultura, no consideraría primero el tipo de suelo en su propiedad, el acceso al agua, el clima, el tipo de cultivo o los animales de los que seguramente tendrá una demanda, etc. , antes de que comience su trabajo? Si alguien niega esto, uno simplemente está asumiendo que el agricultor es simplemente ignorante, lo que a menudo es injustificable.

      Si uno está de acuerdo en que nuestro agricultor lo hace, entonces, está utilizando un enfoque de arriba hacia abajo para ver qué es lo más adecuado para que él crezca y / o críe en su tierra, porque eso le permitirá alcanzar su objetivo de tener éxito en la adquisición suficiente comida para él y vendiendo el resto para satisfacer sus otras necesidades.

      El problema no está en el método, sino en su aplicación fragmentada. Lo que sucede es que se aplica de manera incompetente al más alto nivel, es decir, formulación de políticas y aún menos competente al nivel de implementación estratégica. A nivel regional y local, lo que viene de arriba se pasa por alto tal como está. Esta es una cadena común de incompetencia muy extendida en todo el mundo. El término de arriba hacia abajo a menudo es utilizado por aquellos que no entienden lo que es o lo que implica.

      Es un enfoque escalonado en el que, en cada nivel, tanto el 'objetivo general', que es general, se vuelve cada vez más específico del área en la implementación. Finalmente, en el nivel de nuestro agricultor donde más importa, se convierte en un proceso de reconciliación entre su objetivo a través de su integración en el todo nacional. Es tan simple como eso cuando carece de jerga y los clichés de intereses creados.

      Por lo tanto, los deseos y la retroalimentación del agricultor son una parte integral de una solución de arriba hacia abajo aplicada de manera competente.

      ¡Salud!

       

  • How useful are theories of change in development programmes and projects?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Estimados todos,

      No puedo estar más de acuerdo con los comentarios de Silvia, y si puedo, me gustaría agregar algunas observaciones.

      Creo que sería razonable mantener que el propósito fundamental de la evaluación sería determinar si una acción, un proyecto, por ejemplo, ha logrado contribuir a la calidad de vida de su grupo objetivo.

      Esta mejora de la calidad se puede lograr al permitirles satisfacer una o más de sus necesidades fundamentales. La nutrición es una de esas necesidades. Obviamente, su satisfacción depende de la disponibilidad y la asequibilidad de alimentos locales sanos, lo que a su vez depende de la idoneidad del sistema alimentario local. Lo mismo se aplica al conjunto de necesidades asociadas con las otras necesidades fundamentales.

      A menudo, la satisfacción adecuada de una necesidad fundamental requiere la satisfacción previa de las necesidades asociadas con la satisfacción de alguna otra necesidad fundamental. Por ejemplo, una nutrición adecuada con frecuencia depende del transporte de alimentos. El transporte se convierte así en una necesidad no solo para una nutrición adecuada, sino también para otras necesidades fundamentales como educación, salud, seguridad, etc.

      Por lo tanto, creo que un enfoque empírico holístico para evaluar / asegurar la integridad de un proyecto durante la etapa de planificación sería crítico para el éxito de cualquier acción. Después de todo, emprendemos un proyecto para lograr el cambio deseado, a saber, mejorar la calidad de vida de un grupo de alguna manera. Esto no es teórico, y es eminentemente práctico. Idealmente, debería ser proactivo, pero hoy hay demasiado por debajo de lo normal para pensar en eso.

      Se supone que el grupo objetivo se hará cargo de la ejecución y el mantenimiento de un proyecto hasta su finalización hasta cierto punto. No son un aislado, sino una parte de una comunidad más grande. Por lo tanto, es importante determinar si el grupo objetivo y / o la comunidad a la que pertenece pueden continuar con la operación adecuada del proyecto una vez finalizado.

      Creo que las variables involucradas aquí son demasiado numerosas para ser tomadas en cuenta por cualquier norma teórica. Incluso después de establecer su impacto ambiental y social con referencia a su resultado y las herramientas que un proyecto propone usar, y la voluntad y la capacidad de una comunidad para usarlos con suficiente habilidad, hay muchos más imponderables que uno tendrá que enfrentar. Estos deben ser examinados en el acto.

      ¡Los mejores deseos!

      Lal.

  • Youth in agriculture: what lessons can we draw from evaluations?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Dear Ines,

      Many thanks foryour comments, and my apologies for my delayed reply.

      Perhaps, I might mention that I am very reluctant to use the term 'theory' on what is obviously an approach used to achieve some concrete result, which in this case is to get youth to engage in agricultural pursuits to a greater extent than now. I prefer to use 'theory' to describe in generic terms fundamentals that govern gnomic phenomena, i.e., interactions among non-thinking entities like planets, atoms, molecules, etc.

      Having said that, I think the approach we are interested in makes one crucial distinction, viz., the difference between the 'desired result' and the 'actual result'. In a previous discussion on this forum, a contributor mentioned a very expensive modern highway built in a developing country. The desired result included its regular use by the locals to transport goods, which in turn would improve the 'local economy'. But the actual result was that it was a success as far as the road itself went, but was hardly used by the poor target group who did not has sufficient access to the required wheeled transport, nor yet enough local produce to send away!

      This is where the pre-evaluation of any endeavour should come in, i.e., a project, programme, etc. And it should be holistic. Had it been done in the case of that road, first thing that would have come to mind is the annual surplus to be transported, the need for it, availability of appropriate transport vehicles, etc. If those did not obtain in certain minimal amounts, the road project would have been either reduced to a more realistic level or scrapped altogether.

      As you will notice, this approach entails that there are so many variables one has to take into account for a meaningful pre-evaluation. Hence, it is logically impossible  to draw universally applicable evaluation guidelines that are pragmatically justifiable. After all, what we want is a pragmatic result that benefits a target group, and not an academic activity. In the present case, the acid test is, has the project or the programme  resulted in a significant increase in the numbers of young people taking up agricultural pursuits in a given area, and will they continue to do so? If the answer to these questions is a no, the endeavour has been a failure. We shall always have to keep this in mind.

      I'm not familiar with the situation in India, and you point out that most young people in developing countries lack appropriate skills in agriculture.

      I am not at all certain that cultivation of Himalayan foot hills would be such a good idea in the long term, for the geology of the sub-continent makes it totally dependent on monsoon rain as its principal source of water.

      Snow and ice on the mountain ranges in the area from Hindookush range via the Himalayas and to the Chinese ranges depend on the monsoon moisture.

      Unless sufficient water goes into the soil through seasonal rainfall and snow and ice melts, rivers in the area would dry up and this would lead to a catastophe. I am told that the major rivers in the area from Kablll river eastwards have shrunk considerably during the past century. Thus, deforestation of the Himalayan foot hills would retard soil uptake of monsoon rains even though the 'organic farming' would enable some people to earn large profits for a short time. According to the Imperial Gazeteer of India the soil in that area is not particularly fertile. Incidentally, no geological and climatological project of greater comprehensiveness and complexity other than that undertaken by the British in India has been carried out anywhere else in the world. I know it is not fashionable to say this, but it remains a fact. (Ref. Determination of the geode of the Indian sub-continent in order to ascertain the height of Mt. Everest.)

      Best wishes!

      Lal.

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      How appropriate is our current approach to evaluation?

      In my previous comments to this forum, I have underlined some aspects of evaluation, which I find difficult to justify. As it is currently understood, evaluation seems to be restricted to the result of a project/programme with reference to a formal list of what it is intended to achieve. Shorn of graphs, tables, etc., and a descriptive text, this is the gist of evaluation today. But can it really inform us of anything more than its methodological incompleteness? We would prefer to think otherwise, but our desires and hard reality are two different things.

      I think it will be generally agreed that the purpose of any rational agriculture project to promote youth participation in agricultural pursuits would be the following:

         1. Induce greatest possible number of young people to engage in agricultural activities.

         2. Make a significant contribution to a sustainable local food production not opposed to the food culture of the area. Sustainability of this depends on its being environment friendly and supporting bio-diversity in agriculture.

      The above two points are logically  inseparable.

      The contributors to the present discussion have emphasised two points, viz., education and financing, while making a tangential reference to 'making agricultural pursuits appealing' to 'modern educated youth'. I do not quote verbatism here, but the contributor's meaning is clear. It is concerned with 'educated' youth.

      As far as I know, most young people who flee into the cities throughout in the world come from predominantly agricultural rural areas, where the educational and health facilities are of low standard. Thus, most of the youth who reject agricultural pursuits are not well-educated either to procure employment that would pay them enough to live out of poverty. This accords with the reality; one only needs to take a cursory glance at the million-dweller slums around the big cities in the developing world and the surrounding villages that are generally populated by the elderly and small children.

      I think this is the backdrop against which a fruitful discussion of this issue may be undertaken. Do please note that it is in such countries that food shortages, hunger and malnutrition predominates in the world even though their leaders boast of some of their citiesas paragons of 'economic growth'.

      Other things being equal, it is reasonable to ask will diployment of materail and technical resources would induce the young people to take up agricultural pursuits even if decent incomes are assured? Would they be then willing to stay in situ and take up the plough or leave slums to do so? I am perfectly aware that no one seems to dare ask this question, let alone answer it even though everybody knows this is true and it is an incontrovertible fact.

      Senn in this dismal light, evaluation with respect to the present purpose offers us an indirect insight, viz., it is vital to carry out a sound pre-implementation evaluation of any undertaking to ascertain its probable success. This must be carefully distinguished from its feasibility which is merely mechanical.

      Let me hint at a possible recommendation a pre-implementation evaluator might make. Let us ask the question, what apart from poverty drives the youth from food production? This is not political rhetoric, for every big city in industrialised countries has its own slum where slum-dwellers have lived for generations in poverty, and crime is a common feature there.

      Even though this cannot be turned into colourful  graphics, impressive figures or into a learned dissertation, I maintain the rural youth are drawn into cities and away from agricultural pursuits fro three reasons, viz., 'the bright lights' of the city as portrayed in fiction, films, tv., videos, etc., belief that one could quickly get rich there, and most of all, denigration by the rest of the society of agricultural persuits as inferior work. One only needs to look at how various European languages  call their farmers in informal speech to see how ingrained such beliefs are.

      Whilefully agreeing on the importance of appropriate infra-structure, financing, health care,education and above all on-the-job training,, I believe that it is essentail to bring about a radical change in our social attitude to food production and those who are involved in it. At the same time, it is necessary to portray the life of an average city-dweller as it is, but not as the make-belief city-dweller known to many a rural youth.

      Perhaps it might be salutory for the general public to understand that provided that they had air and water, nothing else could have any value for them unless they have enough food, for then they all would be dead. Hence, it is those who are involved in food production who makes everything we value as civilised possible to create and sustain. Hence, engagement in agricultural pursuits should be highly esteemed. All this is obvious, but as one of the wisest men of our times once said, "it is the obvious that is most difficult to understand."

      So, any chance of launching a carefully re-evalued undertaking to re-mould the current public perception of agricultural pursuits? Any possibility of inducing those responsible to portray city-life as it is for most city-dwellers? Unless these happen, the prospects of success seem dismal, and yet there are a few bright spots where dedicated people have succeeded in inducing youth not just to engage in food production, but to do so in line with the local food culture because they care. Perhaps they may serve as beacons to the future as the monasteries did during the dark ages.

      Best wishes!

      Lal Manavado.

  • Using synthesis and meta-analysis to make the most of evaluative evidence: what is your experience?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Dear Carlos,

      Just a few supplementary remarks on the subject; strictly speaking, they may not seem relevant, but I think one has to be a pragmatist in order to use a synthetic approach to attain a goal. In my view, pragmatism is implicit to synthesis.

      Therefore, taking every factor that has a bearing on a successful outcome becomes a logical necessity every synthesis should embody. This entails a comprehensive analysis of not only documented data, but also the specific external contextual variables like the needs and capacities of the potential beneficiaries (real people in the target area) and the resources at one's disposal to implement and sustain a given project or plan. Obviously, this has to be undertaken before planning a project based on a holistic synthesis of the relevant facts as revealed by the pre-project analysis. At this point, I think it would be very useful to carry out a pre-implementation evaluation of the planned project so that its strengths and weaknesses could be ascertained before actual implementation.

      If this is tenable, then meta-analysis by itself would not  be sufficient to underwrite the success of a project, and it may under certain conditions give one a false sense of completeness and correctness that could be undesirable. Hope this would be of some use.

      cheers!

      Lal.

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      I am happy to see this most timely question raised at this time, soon after the previous discussion on the difficulties in ensuring adequate funding for agriculture.

      A synthetic approach by definition, involves paying due attention to every influence, positive and negative that bears on achieving a clearly defined objective. In my experience, this seems to be the most difficult thing to achieve even when sufficient material and guidance is clearly available. Let me be explicit.

      First of all, there is a common belief that evaluation ought to be on some result with reference to a plan or a 'project specification' if you will. This is akin to checking whether some product meets a manufacturer's specifications and costings. This approach seems to be attractive because of its 'clear-cut' and scientific' nature. But, how useful is this in real life?

      When applied, this method would evaluate as successful any 'prestige project' as long as it meets the project specifications and budget. Its inadequacy lies in that it ignores taking into account its utility to its supposed beneficiaries. accruing Such potential benefits depends on the beneficiaries' need for it and their ability to use the project product with sufficient skill. An up-to-date cardiology unit in a remote area of a poor country where health personnel a problem is an example of such a potentially successfully completed but rather a useless project.

      A synthetic approach would have ascertained the greatest health needs of the people of such an area, the available man-power, ensured a sustainable funding mechanism, maintenance  capabilities before a project design is undertaken. I firmly believe what is most important is such a pre-project evaluation before one can carry out a meaningful post-project one.

      You would have noticed that in a holistic synthetic approach one distinguishes clearly between the 'theoretical' project on paper and the real one that represents people doing their assigned tasks. Without the latter, a project is nothing but paper, but when what is on paper takes into account not only the abilities, but also the frailties of the people involved, it would be justifiable to evaluate a project plan a very useful guide to action.

      I know my views are not those of the majority of the experts. But as a synthetist and an analyst, I think my approach is justifiable, for it looks at a project as a set of actions by some people  to enable a target group to achieve some desirable goal in a sustainable way.

      Thank you.

      Cheers!

      Lal Manavado.

       

  • Enhancing funding and service delivery in agriculture: any ideas?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      I've read the discussion so far with great interest. It would be fair to say that the question boils down to two aspects of the matter, viz.,

         I. Total amount of funds actually at the disposal of the government (or for that matter any organisation).

         II. Willingness and the ability of the 'fund allocators' to do their job honestly and skillfully.

      This condition, 'honestly' is not very easy to achieve even in the so-called 'mature democracies'. I will not try to address the issue of how to obtain funds in the first place even though it is very important as Prof. Tinsley has noted in his contribution.

      Assuming that the funds are available, we now face the question of 'willingness' of the allocators to provide support in a justifiable way. The ability involved here is an allocators capacity to assign funds in a justifiable way. However, the willingness to do so may not obtain for several reasons, viz.:

         1. Corruption in its many forms.

         2. Incompetence and indifference.

         3. Near fanatical belief in 'development theories'.

      This list may not be exhaustive, but we would be naive to ignore its awful effect on our way forward.

      Finally, the question of justifiability; a justifiable allocation of public funds (aid or tax income) represents provision of funds to various efforts in proportion to their significance towards enabling people to meet their fundamental needs, which I have fully described elsewhere. These are nutrition, health, education, security,procreation and what I have called our non-material needs. The last is so called because their satisfaction does not involve any material gain, eg. aesthetic enjoyment, playing games, etc. As agriculture is the principal means of meeting our nutritional needs, it should receive due priority. After all, after air and water, food is the most important thing for us. Without it, political or religious creeds, rights, etc., are only of an academic interest.

      Best wishes!

      Lal.

       

  • Recurring errors in public policies and major projects: contributions and solutions from evaluation

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      I think your questions can be given generic answers, whose importance may vary according to the prevailing local conditions. I would like to underline that no 'development effort' will be free of some or all of them irrespective of the political maturity and economic status of a country. After all, even though great deal of lip service is done to deal with 'thinking in silos', precious little is being done to guard against 'working in silos' throughout the world. Let us always keep this distinction in mind if we wish to be realistic.

      Now to the questions:

      • What are the most common mistakes made in your country?

      The greatest mistakes are the failure to ascertain the following before a project/plan is designed and executed:

      1. Are the beneficiaries willing and able to derive sufficient real benefits from it with reference to their abilities and expectations and not according to those of some distant planners?

      2. Are there sufficient local resources both physical and human, needed to make the best use of what has been planned? For instance, there is no need for a multi-million Dollar bridge to transport a couple of tonnes of vegetables to a nearby city.

      3. Does the area/country has sufficient technical skills and financial resources to maintain the end-result on its completion?

      4. Are there other better alternatives to the current proposal? For instance, in an area where high unemployment rates obtain, it would be more appropriate to select a labour-intensive alternative than a capital-intensive high tech one. After all, the purpose of every development effort should be to enable as many people as possible to secure a decent livelihood.

      This list is not exhaustive, but I think its general drift is quite clear.

      • To what extent do you think these mistakes could have been avoided with better use of evaluation, or that evaluation could contribute to the success of policies and major development projects?

      This is indeed a tricky question. If we speak of evaluation in a very narrow technical sense as it is often done, it can not be of much use here. However, if we are willing to work out of silos as it were, and opt for a holistic notion of evaluation, it could make a significant contribution. That 'if' is logical.

      Let me explain; if we are planning to evaluation not the mere hardware of en effort say a hospital or a bridge, and extend our activities to its intended purpose, i.e., benefiting a group of real live people, then it would be invaluable. This might be called pre-effort evaluation of possiblebenefits made with reference to the 4 points above.

      • Have the results of evaluations allowed to amend the failures of public policies and development projects?

      If evaluation is only concerned with 'the hardware', it could influence policies and implementation strategies only insofar as they are concerned with the end-result, but never with its benefit yield to real people. For example, better bridge building strategies can result in better bridges, but that does not address the question of their utility. So, it would be reasonable to suggest that only holistic pre-evaluation could be of use in better policy design and implementation strategies.

      • Have public policies and projects developed subsequent to the conducted evaluations taken into account previous errors and corrections?

      Another contributor has already made many perspicacious remarks on this.

      Best wishes!

      Lal.

  • What can we do to improve food security data?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      I think an answer to Dr. Houngbo that reflects reality as it is, and not what we would like it to be, would sound very discouraging. I  believe that contrary to the common belief, it would be unwise to trust implicitely data on nutrition even from the affluent and technically advanced countries.

      Perhaps, this question may underline with sufficient force the limitations one would have to face in policy formulation in general and that with respect to nutrition in particular. Consider the general methods in use to ascertain the adequacy of nutrition even in a small area.

      1. Bio-metrics with reference to age, sex, etc.
      1. Does one has a ‘valid’ baseline for comparison?
      2. How long should one monitor to arrive at such a baseline?
      3. What guarantee does one have that food intake of the participants could or would remain constant during the monitoring period?
      4. In the absence of prior group specific values, how does one determine what would be an adequate diet for each test category during the monitoring period?

      Well, I could describe some more difficulties, and this is only on establishing a baseline for comparison.

      Then of course, we have the usual difficulties regarding transport, monitor competence, inadequate numbers, not to forget people’s willingness to participate.

      Some have proposed a work-around or an indirect method, which would have been amusing had it not been put forth as a solution to an important problem. It is to monitor the consumption of various food items in an area. The untenability of this method is too obvious to be elaborated.

      I know that I sound most discouraging. But, haven’t we perhaps placed too much trust in numbers because of their ‘seeming’ objectivity? After all, numbers are no more objective than any man-made symbol. Do we think something is automatically the way forward, because it looks like being scientific?

      Our notion of science can totally mislead us just as any other belief system could. As soon as we say, X is f and that is an absolute fact with the firmness of any fanatic, out flies the science.

      So, can we think of some other approach? It could use statistics for what it is worth as an adjunct, but let us base our policies on agriculture and food distribution on common sense and the applicable norms of nutrition. By applicable, I mean food needs of the local people in line with their food culture as much as possible. Then of course, the powers that be should do all they can to ensure that the facilities are available to local people to produce enough food, a fair distribution and most important making it available at affordable prices. A well-planned and sustained cooperative endeavor free from monopolies seems to be the only way forward, if none is to be left behind starving.

      Value of food stems from it being essential to life, not because  it forms ‘value chains’ that enrich a host of intermediaries.

      Best wishes!

      Lal.

  • What can evaluations do in terms of capacity development?

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      Naturally, it is important to enhance the skill of evaluators; but apart from some general considerations applicable to every evaluator, one must not overlook the wide variety of projects involved, makes it necessary for an evaluator to develop certain skills specific for each project type. For instance, the skill needed to assess a road is categorically different from what is needed to evaluate the successful completion of a health facility, say, a hospital.

      Let us assume that a given project has been successfully completed, and an excellent evaluation has been made. Is it reasonable to assume that is all what's required? Some may be tempted to say, what else? We've done what we've been hired for, and now our job is done well. True, as far as it goes.

      If we are content with that, I think we have missed something crucial. That is simply this; when the celebrations are over and project personnel and the evaluators depart, how well will the beneficiaries utilize what has been put in place? Would they be able to undertake necessary maintenance and improvements on their own? Would they be able to make good use of it? Or would it remain a successfully completed monument to the planners' lack of sense of proportion? In other words, a white elephant or a prestige project of little or no utility.

      It is this aspect of capacity building I tried to bring to the fore in my first comment on this subject. I believe it is the duty of an evaluator to ascertain the public's ability to use what is planned, and if necessary to induce the planners to incorporate into project plans measures to enhance user's competence to benefit from it.

      Cheers!

      Lal Manavado

      Senior advisor

      Norwegian Directorate of Health

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Dear Luisa and Lavinia,

      The Extent of Capacity Development as an Indicator of Success.

      I am happy to see this long neglected aspect of evaluation has received the attention it deserves. Other things being equal, one has too often seen otherwise successful endeavours quietly fizzle out when the outside professionals had left it. The reason is simple: when a project has been completed, the locals in charge simply lacked the know-how and skills needed to run it efficiently, maintain it or a combination of both.

      It is impossible for a pragmatist envisage a just ‘one off’ project, i.e., when it is successfully completed, no further human effort is needed to keep it going. Of course, one may argue that running a refugee camp provides a good counter-example, because once all the refugees have been properly assimilated into the host society or repatriated, the project is truly finished. But, in real life, one seldom sees such except in a few rather affluent countries. Besides, vast majority of projects evaluated are concerned with enhancing the daily lives of ordinary citizens of a country.

      Therefore, it stands to reason that when planning a project, it is vital to its success to begin with the overall purpose of the effort. It is simply to improve some aspect of daily lives of some target group. At this point, it is so easy to let a planner’s reductive imagination soar above the rosy clouds. We have already seen two examples of that in the previous EVAL-ForwARD forum, viz., a road and a bridge.

      I think it is crucial that the evaluators come in at this point to emphasize that unless it can be established beyond any reasonable doubt that the potential beneficiaries of a project are willing and able to derive its benefits, it would be futile to initiate it.

      Never under estimate their willingness and ability. Many successfully completed public health projects languish unused, for the culture of the intended beneficiaries does not value good health as highly as it is done by other cultures. Likewise, desire for prestige has driven some to plan advanced telecom networks to provide cellular telephony to rural youth. Here, their ability to use them for ‘developmental purposes’ has been overlooked. Facts are simple; areas involved lack good basic road transport and the target group is hardly literate. So, cell phones will provide a source of entertainment and long-distance gossip. Hardly a benefit especially in view of its cost and the consequences.

      After these longish preliminaries, let us assume that the project involved is indeed appropriate i.e., it will really benefit the target group because the members of it are willing and able to use it. Capacity building cannot influence this willingness for it belongs to another category, but it is vital to one crucial aspect of this ability viz., the ability to run the project well and to keep it in running order while undertaking the improvements it needs in the long term.

      I am not certain to what extent the capacity of the public to benefit may be enhanced unless it is integrated as an essential component of a project. This is especially true in cases where the overall objective has been to improve public nutrition. Other things being equal, a project to increase food production would not lead to better nutrition unless the target group has an adequate dietary competence, i.e., knowing what to eat, how to prepare it, etc.

      So, it would be reasonable to affirm capacity building is an indicator of success in evaluation, and ought to be incorporated into a project at its inception. However the question, whose capacity and to do what, needs careful consideration. At the theoretical level, one can distinguish between two sub-groups in a target population, the overall beneficiaries and those who are expected to continue the operation of a project on its completion. I hope this might be of some use.

      Cheers!

      Lal Manavado

      Norwegian Directorate of Health, Norway

  • Is this really an output? Addressing terminology differences between evaluators and project managers

    Discussion

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Greetings!

      While I fully appreciate the evaluation problems caused by the mismatch between the achievement of 'deliverables' and their actual human benefits, I nevertheless cannot help thinking this is a problem we have created for ourselves. It's just another instance of the difficulties every reductive approach entails.

      Consider for a moment what would have happened with that 'road' if the planners asked themselves a few simple questions like:

        1. What's the likely daily volume of wheeled traffic on it?

        2. How many living in the vicinity of that road will be using it? And for what purpose? Etc, etc...

      In a very affluent industrialized country in the North, a similar thing happened. It involved a very expensive bridge in a distant area intended to link a moderately inhabited island with the main land. The intention was to enable the people living on the island to travel to work on the main land without having to take the regular ferry. The outcome was interesting to say the least.

      The islanders used the bridge to move their goods and chattels and settle down in the main land closer to their places of work, while keeping their old homes as summer houses! It was hoped to finance the bridge at least in part, by the daily toll drivers would have had to pay, but this became less than insignificant.

      So, the lesson is obvious, but then, what is obvious seems to be the most difficult to understand.

      If before planning begins, one achieves a clear understanding of what would really help the potential beneficiaries of a project and balance it against their actual ability to derive those benefits from it, one would arrive at some realistic set of goals. Then, it would be easy to design a project where the gap between the abstract 'deliverables' and real benefits is minimal, thus making the evaluator's task easier and pertinent.

      At the risk of being accused of unseemly levity, a fairly unusual example here would be a project to supply mountain mules to the farmers in High Andes cultivating say quinoa in their fields. This seems to be the most effective way to help them to transport their surplus food to the nearest market. Lack of good roads, high expense in road construction and maintenance, length and cost of training people, and most of all, the time all these take will make the traditional beast of burden a not so comical a choice.

      Best wishes!

       

    • Lal - Manavado

      Consultant Independent analyst/synthesist
      Noruega

      Dear Mustafa,

      Thank you very much for a brilliantly reasoned analysis of the issues Natalia presented. My interest in the field is not as a practioner, but rather as someone who is aware of the importance of continuous monitoring and evaluation as a necessary condition for the success of any project. Your clear distinction between the ‘deliverables’ and their actual usefulness is crucial, and as you point out, often overlooked.

      Cheers!

      Lal