Ram [user:field_middlename] Khanal

Ram Khanal

Advisor
Community of Evaluator (COE) Nepal
Nepal

I have been working as an expert in programme evaluation and management. I have carried out many projects and programme evaluation related to livelihoods enhancement, economic development, natural resources management, climate change, disaster risk reduction and sustainable development in Nepal and other South Asian countries. Currently, I am serving as a president of community of evaluators in Nepal and am also engaged in evaluation field building while working with the government of Nepal.

My contributions

  • Artificial intelligence in the context of evaluation

    Discussion
    • I have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.

  • How are we progressing in SDG evaluation?

    Discussion
    • Estimada Emilia,

      Gracias por plantear esta importante cuestión.

      1.      He tenido la oportunidad de participar en la evaluación de algunos aspectos de los ODS en Nepal. Creo que evaluar objetivos o metas específicos dentro de los ODS es un proceso normal y que podemos aprender de los enfoques de evaluación existentes. Sin embargo, evaluar la sostenibilidad en un orden superior, teniendo en cuenta la dimensión espacio-temporal de ciertas intervenciones durante o al final de la intervención, puede ser una tarea difícil. Con mi limitada experiencia, he encontrado algunos retos al evaluar intervenciones relacionadas con los ODS. Creo que era bueno ver el alcance de las intervenciones a un nivel superior y considerar todo el ecosistema de las intervenciones seleccionadas (ya que los ODS son intersectoriales, colaborativos y muchos más términos utópicos); sin embargo, este concepto teóricamente atractivo planteó algunas dificultades en la evaluación. Algunas de ellas son las intervenciones de alcance limitado o basadas en proyectos (a corto plazo, poco extendidas, demasiado centradas en la realización de actividades, aisladas, sistemas MEAL débiles y muchas más); los enfoques y la mentalidad tradicionales de encargar y gestionar la evaluación (como la falta de un enfoque de pensamiento sistémico y de visiones anticipatorias de que la intervención puede conducir en el futuro); y la operacionalización de la evaluación de la sostenibilidad (como el diseño deficiente de la intervención, la falta de datos críticos, la falta de atribución y el tiempo limitado asignado para evaluar la condición para la sostenibilidad). Además, existen lagunas sustantivas en las políticas de evaluación, fallos institucionales y carencias críticas de capacidad para evaluar la sostenibilidad a escala nacional y subnacional. Además, no veo mucho interés/entusiasmo por llevar a cabo evaluaciones ex post de los programas, ni siquiera por parte de los grandes donantes y socios de desarrollo.

      2.      Llevar a cabo la evaluación de los ODS sigue siendo una idea emergente para muchas organizaciones, incluidas las agencias de la ONU. Dado que los ODS son todavía nuevos a nivel subnacional, la demanda de este nivel es hasta ahora escasa.

      Un cordial saludo,

      Ram Chandra Khanal

    • Estimado Ravi ji,

      Gracias por plantear esta importante cuestión. Mi aportación se basa en mi limitada experiencia en este ámbito.

      1. La agroecología es un concepto multidimensional a diferentes niveles o escalas, por lo que captar la multifuncionalidad de la agroecología para evaluar el rendimiento mediante el desarrollo de un marco común puede ser un reto. Dadas sus externalidades/interacciones y funciones conocidas-desconocidas/desconocidas-desconocidas, la evaluación del rendimiento mediante el uso de técnicas cuantitativas a nivel de hogar o de explotación no será adecuada. Pueden ser útiles herramientas participativas como las tarjetas de puntuación comunitarias, que utilizan las observaciones y el grado de satisfacción de la población. 
      2. Los aspectos medioambientales, económicos y sociales/institucionales son importantes para ver el rendimiento, pero también su probabilidad de continuidad de los resultados. Los indicadores de rendimiento pueden variar en función del contexto local, pero yo he utilizado algunos como la presencia de polinizadores, el nivel de ataque de plagas, la diversidad dilatoria y la seguridad alimentaria, el uso de cultivos tradicionales/indígenas, la diversidad de plantas/cultivos utilizados con fines alimentarios y medicinales, la contribución a los ingresos agrícolas, el nivel de tolerancia al estrés (como los riesgos climáticos), etc.   

      Saludos cordiales,

      Ram Chandra Khanal

    • Estimados todos,

      Muchos colegas han mencionado la utilidad de las herramientas visuales para mejorar la comunicación.

      Me hago eco de la utilidad de este enfoque. He observado que las herramientas visuales -el lenguaje con claridad universal- ayudan a comunicar (durante la evaluación y después de ella) con facilidad, ya que las herramientas abordan las barreras lingüísticas con múltiples niveles culturales y de alfabetización entre los grupos. Esto es más útil a la hora de implicar a los beneficiarios del desarrollo. Según mi experiencia, la gente se vuelve más cooperativa, entiende el contexto y el objetivo con facilidad y ayuda a crear una concienciación rápida, una mejor respuesta y un aprendizaje cruzado.

      Pero, en muchos casos, estas evaluaciones se convierten en un proceso mecánico con un largo informe escrito (con el llamado inglés avanzado que generalmente no entienden muchas de las partes interesadas) que sirve para rendir cuentas pero no para aprender. En la evaluación participativa, tengo cierta experiencia en el uso de herramientas visuales como mapas de recursos sociales, diagramas de Venn, mapas de movilidad/históricos y tarjetas de puntuación de la comunidad para diferentes fines. Las herramientas pueden desarrollarse en función de las necesidades/contexto, pero un uso óptimo de las mismas puede proporcionar mejores resultados.  

      Saludos cordiales,

      Ram  

    • Gracias, Svetlana, por compartir el documento y solicitar nuestra aportación. Mi conocimiento de los sistemas del GCIAI es limitado, pero comparto mis observaciones basadas en mi trabajo previo en programas de investigación y desarrollo agrícola en el contexto asiático.

      La evaluación de la investigación y el desarrollo de la agricultura y de las intervenciones asociadas de gestión de los recursos naturales no es sencilla. De ahí que elogie la labor del equipo a la hora de presentar temas importantes de forma concisa y práctica. No obstante, hay algunas observaciones que podrían ser útiles para reflexionar o repensar con el fin de hacerlo más inclusivo y convertirlo en una herramienta de toma de decisiones para las partes interesadas.

      Intento limitarme a una pregunta: "¿Cree que las directrices responden a los retos de evaluar la calidad de la ciencia y la investigación en las evaluaciones de procesos y resultados?".

      La directriz puede centrarse más en las perspectivas y la emergencia del sistema: 

      El documento ha puesto de relieve el contexto cambiante de la evaluación en el GCIAI. Ha planteado cuestiones importantes relacionadas con el futuro de la seguridad alimentaria con la misión de aportar ciencia e innovación para transformar los sistemas alimentarios, de tierras y de agua en una crisis climática y también menciona los cambios transformadores. Todavía hay margen para integrar estos importantes componentes en la propia administración de la evaluación.

      Es posible que la directriz tenga que ir más allá de la evaluación orientada a lo técnico para centrarse en lo inclusivo o en los beneficiarios.

      La directriz menciona algunos públicos y usuarios (como los organismos de financiación y ejecución), pero hace poco hincapié en las comunidades, que también podrían ser una parte interesada importante de la investigación y la innovación. Hay muchas actividades de investigación y desarrollo exitosas (como el fitomejoramiento participativo, la selección participativa, la priorización y selección participativa de tecnologías) en las que las comunidades y los agricultores son partes interesadas importantes. Parece que su papel está un poco ausente en esta directriz.

      Las vías de impacto de las intervenciones de investigación y desarrollo son largas e impredecibles, por lo que los criterios o preguntas de evaluación deberían abarcar estos aspectos.

      Una vez los resultados de la investigación son generados, (también habrá casos en los que la investigación no genere los resultados esperados), el proceso de difusión de la tecnología puede llevar más tiempo debido a un retraso sustancial en el desarrollo y al proceso de adopción, y este proceso puede afectar a la realización del impacto/beneficios de la tecnología dentro del periodo de intervención. Esto también puede influir en los aspectos de sostenibilidad. La integración de estos aspectos podría suponer un reto en el proceso de evaluación de la investigación.

    • Estimado Daniel y otros miembros de Evalforward,

      La evaluación se ha desarrollado y utilizado principalmente de forma mecánica y ha servido sobre todo para marcar objetivos (rendición de cuentas a los donantes) más que para aprender y mejorar. Ahora sabemos que los indicadores y el llamado "marco lógico" resultan más o menos redundantes en las complejas situaciones en las que se desarrollan la mayoría de los proyectos agrícolas.

      Permítanme compartir mi experiencia reciente. Formo parte de un equipo encargado de evaluar la contribución del apoyo presupuestario con una pequeña Asistencia Técnica (intervención de 3 años) de un donante al gobierno para aplicar una estrategia nacional de desarrollo agrícola en uno de los países del sur de Asia. Como evaluador, he observado las siguientes cuestiones durante el proceso de evaluación:

      a) El "apoyo presupuestario" se proporciona al tesoro público y no se destina al sector agrícola. En este caso, existe una elevada posibilidad de fungibilidad. No sabemos si el sector que recibió el fondo tiene la oportunidad de tener un trabajo incremental. Y cómo evaluar la contribución.

      b) El contrato de financiación contenía objetivos ambiciosos y no pertinentes: El programa tiene seis objetivos con hitos anuales que deben cumplirse para obtener el fondo. Estos objetivos no sólo son ambiciosos para los 3 años de intervención, sino que también están fuera del alcance del Ministerio de Agricultura. Por ejemplo, la disminución del porcentaje de retraso del crecimiento y el aumento del porcentaje de propiedad de la tierra por parte de las mujeres a nivel nacional. No se trata de una intervención directa del ministerio de agricultura y hay muchos otros responsables principales que contribuyen a lograrlo en un largo periodo. Tampoco existen mecanismos adecuados de coordinación y colaboración entre los ministerios y los organismos gubernamentales para obtener información/progresos. Además, no existen sistemas de gestión y evaluación para recopilar datos a nivel subnacional.

      c) La estructura de gobierno también ha pasado de ser unitaria a federal. Los tres niveles de gobierno funcionan cada uno por su cuenta sin disponer de mecanismos adecuados de coordinación e información. Las instituciones y las políticas están en proceso de desarrollo, pero existe un grave déficit de capacidad. En este caso, al ministerio le ha resultado difícil recopilar datos y elaborar informes.

      En este contexto, el marco lógico sigue ahí sin revisarse y se pide a los evaluadores que valoren la contribución del fondo en esos indicadores/objetivos. Tanto los organismos de ejecución como los donantes siguen intentando atribuir el impacto del fondo, lo que es como "sacar agua de un pozo". Tal vez todavía quede mucho por hacer para que el enfoque de gestión y evaluación sea más contextual y útil.  
      Estamos de acuerdo: "tropezamos de nuevo con la misma piedra" y "repetimos", por desgracia.  

      Ram Chandra Khanal, Doctor
      Evaluador independiente, Katmandú, Nepal

    • Estimados todos,
       
      Gracias por compartir esta experiencia tan ilustrativa. Tengo una pequeña aportación basada en mi experiencia.
       
      El valor de la cultura en la evaluación es un tema menos discutido y practicado entre los investigadores, profesionales, académicos y financiadores del desarrollo. Debido a diversas razones, las cuestiones culturales están menos representadas en el diseño de la evaluación y en las fases posteriores. Al diseñar una evaluación, la mayoría de los métodos/herramientas de investigación y observación no tienen en cuenta el contexto -espacio y tiempo- y se centran principalmente en los resultados y sus indicadores asociados. Esto es más importante cuando se trata de cuestiones de socio-desarrollo. El reciente enfoque de utilizar la Teoría del Cambio, en principio, cubre el espectro más amplio del contexto, pero la comprensión de las personas y sus prácticas (=cultura) no han sido una parte importante del análisis. Por ejemplo, en un grupo de personas (tomemos el ejemplo de los "Bramin de las colinas" en Nepal) las mujeres no suelen decir el nombre de su marido, no se dan la mano (tienen una forma diferente de saludar cuando se encuentran con la gente) y puede que no hablen con un hombre con franqueza desde fuera. Además, los roles familiares de hombres y mujeres también están determinados por los sistemas sociales/la cultura a la que están acostumbrados durante generaciones, lo que puede resultar extraño para los occidentales. Algunas comunidades rinden culto a su dios antes de iniciar las actividades relacionadas con el proyecto o de completar las tareas del mismo. Hay casos en los que las intervenciones de desarrollo se diseñan sin tener en cuenta los aspectos culturales (como la demolición de templos o lugares sagrados o religiosos de ciertas comunidades para construir una carretera que afecta directamente a su cultura). Estos son algunos ejemplos. En este caso, un evaluador que no comprenda el contexto y la cultura locales podría entenderlo de forma diferente y los resultados generales de la evaluación podrían ser distintos. Creo que contar con un experto local (que conozca la cultura) y una conversación respetuosa con las comunidades son dos estrategias que he utilizado en mis evaluaciones.

      Que tengan un buen fin de semana.

      Saludos cordiales, 

      Ram

       

    • Estimada Malika,

      No podría estar más de acuerdo con los puntos que ha planteado. La independencia y una cobertura suficiente de datos/información son fundamentales para una evaluación creíble. Pero la otra cara de la moneda es que, por lo general, los evaluadores no disponen de tiempo/días suficientes ni de información completa (a pesar de las solicitudes) para ponerse en contacto con las partes interesadas, los beneficiarios, los grupos comparables y las personas potencialmente afectadas negativamente (esto es algo que falta gravemente en la mayoría de las evaluaciones) durante la evaluación. Esto hace que los procesos de evaluación no rindan cuentas a las personas para las que se planifican las intervenciones.  

      Saludos cordiales,

      -----------------------------------------
      Ram Chandra Khanal

       

       

    • Estimado David,

      Gracias por traer estos importantes temas a esta comunidad de Práctica. Basándome en mi experiencia de trabajo en los países en desarrollo, tengo la siguiente aportación para su referencia.

      Con mis mejores deseos,

       

      1. Lograr un equilibrio entre la profundidad y la duración de las evaluaciones. Los ejercicios de seguimiento y evaluación basados en entrevistas y encuestas en las explotaciones agrícolas pueden suponer una carga de trabajo importante para los encuestados. Por ejemplo, ocupando un tiempo que dedicarían a otras actividades. El cansancio de los encuestados debido a la duración de las entrevistas/encuestas también puede reducir la calidad de los datos recopilados y, por tanto, la fiabilidad de los resultados. Por otra parte, una evaluación más breve puede no ser lo suficientemente profunda como para diseñar intervenciones eficaces.

      ¿Cómo se puede reducir la carga de trabajo de los pequeños productores durante los procesos de SyE?

      Prefiero hacer/estoy haciendo:

      • Hacer cuestionarios cortos orientados a objetivos
      • La mayoría de las veces con preguntas cerradas, pero también con la posibilidad de compartir sus puntos de vista y perspectivas
      • Entrevistarles en su propio entorno y en el momento que prefieran
      • Hacerles sentir que también se benefician de este ejercicio
      • Crear una buena relación (habilidades interpersonales) - (no mecánica, sino también hablar de sus problemas personales)
      • Proporcionar algún regalo (puede ser a sus hijos)

      ¿Cuáles son las mejores formas de incentivar a los agricultores para que participen en las encuestas (p. ej. incentivos no monetarios, participación en la elaboración de las encuestas y/o en la presentación de los resultados)?

      Prefiero hacer / estoy haciendo:

      • Cuando era director del programa/proyecto, solía ofrecer a los agricultores alguna compensación económica (creo firmemente que debemos pagar al proveedor de información, ya que los recolectores de información ganamos una buena suma de dinero por funciones similares)
      • Compensar su tiempo con un buen refrigerio
      • Ofrecerles un regalo como "muestra de amor".
      • Reconocer su apoyo

      2.Hacer que los resultados de los procesos de SyE sean útiles para los agricultores. Dada la carga de trabajo que las actividades de SyE supone para los campesinos, garantizar que los resultados sean significativos y accesibles para ellos resulta fundamental. De hecho, éste es un objetivo explícito de la herramienta de SyE que estamos desarrollando. La evaluación pretende dar una idea de los puntos fuertes y débiles de la sostenibilidad, de forma que puedan ser utilizados —por los agentes de extensión, por ejemplo— para ayudar a los agricultores a identificar prácticas específicas que puedan aumentar la sostenibilidad general de la producción.

      Basándose en su experiencia, ¿cuáles podrían ser las formas más eficaces de comunicar los resultados de la evaluación de la sostenibilidad a los agricultores (p. ej. visitas sobre el terreno y aprendizaje entre homólogos, taller de información técnica)? ¿Qué tipo de material de comunicación (p. ej. notas, folletos, otros) es el más adecuado para apoyar eventos de intercambio de conocimientos?

      • Aclarar los objetivos - cómo la evaluación de la sostenibilidad es importante para los agricultores y sus grupos/
      • Organizar una reunión de intercambio y obtener su opinión sobre el resultado
      • Aprovechar al máximo los recursos locales, los grupos locales o los socios de confianza a la hora de compartir los resultados.
      • Utilizar ilustraciones/ayudas visuales/lenguaje local 
      • Utilizar menos palabras técnicas y términos complejos
      • ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?

      ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?

      Cuando sea posible:

      • Hacer grupos de reparto según los grupos de interés (como mujeres agricultoras, jóvenes agricultores, grupos de agricultores según su producción o participación en diferentes cadenas de valor)
      • Utilizar ilustraciones / ejemplos / ayudas visuales / demostraciones sencillas (como el cubo de maíz grande frente al cubo pequeño) relevantes para el contexto local (por ejemplo, si se dice 50%, en muchos casos no lo entienden, si se da un ejemplo como 100 unidades y 150 unidades (50% adicional), pueden estar en condiciones de entenderlo).

      ¿Cómo se pueden utilizar los resultados para la educación informal de los agricultores (p. ej. para sensibilizar y/o fomentar la capacidad sobre diferentes maneras de aumentar la sostenibilidad de las explotaciones agrícolas)?

      • Desarrollar un módulo de formación participativo centrado en el agricultor teniendo en cuenta sus necesidades
      • Ofrecer a los agricultores la oportunidad de compartir (enfoque de agricultor a agricultor)
      • Utilizar ilustraciones / ejemplos / ayudas visuales / demostraciones sencillas

       

      Ram Chandra Khanal (PhD)

      Evaluador y gestor de programas: Cambio climático/Gestión de recursos naturales/Agricultura

    • Estimada Emma,

      Gracias por poner esta importante pregunta. La mayoría de las veces, el Seguimiento y la Evaluación se considera una función de rendición de cuentas de los donantes y los organismos de implementación también siguen el mismo enfoque. En este caso, la participación de los agricultores no se considera un requisito previo, pero a veces se considera como si los agricultores no piden "conocimientos" sobre estas cuestiones técnicas y sólo las personas técnicas pueden prestar este servicio en nombre de los beneficiarios (ya que las personas técnicas también entienden el contexto local/el contexto y las necesidades de los agricultores).

      El Seguiminento y Evaluación Participativa ha surgido para corregir este desafío en el que los agricultores estarían involucrados en todas las etapas del Seguimiento y Evaluación, desde la planificación hasta la evaluación final. Sin embargo, hay experiencias mixtas en situaciones de la vida real. He notado tres tipos de procesos de SyE mientras trabajaba para varias organizaciones de desarrollo. En el primer grupo, el proceso participativo de seguimiento y evaluación respeta debidamente su premisa básica del principio participativo e involucra a los agricultores en todo o en la mayor parte del ciclo del proyecto (compromiso profundo). En el segundo, el proyecto utiliza un enfoque más oportunista. Se invita a los agricultores justo antes o después de la puesta en marcha del proyecto (principalmente durante la fase de creación del proyecto) y se comparte la estrategia/plan de SyE con ellos y se espera que los agricultores participen en el proceso de SyE. En mi experiencia, este es el enfoque más común aplicado en proyectos agrícolas en la gestión del SyE (compromiso de nivel medio). En la tercera categoría, los tecnócratas preparan el SyE y lo comparten con los agricultores para proporcionar comentarios sobre su estrategia/plan de SyE ya preparado (bajo compromiso). 

      Hay muchas herramientas/métodos participativos de SyE que dependen del contexto y de las cuestiones técnicas. Por ejemplo, para la planificación de proyectos, el "mapeo social y de recursos" sería muy útil, mientras que para un proyecto de mercado agrícola, el "Diagrama de Venn" podría proporcionar una buena comprensión. Del mismo modo, para el análisis de los proyectos de seguridad alimentaria, el "calendario estacional" proporcionaría información muy útil. También utilicé el "cuadro de mandos de la comunidad" para evaluar el rendimiento (eficiencia y eficacia) del proyecto. Hay muchas herramientas disponibles, pero entender el principio básico del proceso participativo es esencial y una fuerte relación con los agricultores es esencial para utilizar las herramientas.

      Ram Chandra Khanal

    • Hi Dorothy,

      I do not have an opportunity to have a systematic study on the issue your raised but based on my work experience, I have the following points to make.

      Subsistence farming with low productivity (both labour and land) is common in agriculture in most of the developing countries. Hence, most of the young population are leaving agriculture farming and are joining international labour force in Nepal. It is considered that agriculture farming is the profession of uneducated people who cannot make livelihoods from other sources. Agriculture universities are preparing ‘good graduates’ for international universities abroad and most of them remain do not come back. The policy-practice gap is huge and support provided by the government in the name of agriculture are also captured by elites and political influencers. This has created a perverse incentive to the young who want to start their own agri enterprises. But there are also some silver lines as well. Some young people who went abroad for employment come back with skills to use new technologies and management ability to run agri enterprises, especially in the urban and peri-urban areas. It may require a big shift in thinking and support from the government side and involve young entrepreneurs who can bring new innovation that helps to transform from subsistence farming to a profitable enterprise that can ensure their livelihoods. 

      Best regards,

      ---------------------------------------

      Ram Chandra Khanal, PhD

      Ex-President - Community of Evaluators - Nepal, BoDs - Nepal Krishi (agri) and board member SEF

      Kathmandu, Nepal

       

    • Hi all,

      Thanks for initiating a dialogue.

      From my experience, one important aspect is to know whether the project is really relevant to beneficiaries both in short and longer term and how the intervention is going to contribute the specific development objectives. Readiness of the beneficiaries to collaborate is another critical factor.
      It is also important to have a comprehensive theory change as the intervention is influenced by other internal/external factors that are responsible for creating enabling or disabling environment. Sometime – we generate our logic and reasons (we basically create an island in most of the time) but that may not held true and our interventions do not yield results. So, in many cases, relevancy and weak design have been the main reason for a success and failure of an intervention. I am sure there also other issues while implementing the project.

      Best regards,
      ---------------------------------------

      Ram Chandra Khanal, *PhD*

      *President - Community of Evaluators - Nepal and BoDs - Nepal Krishi (agri)*

      Kathmandu, Nepal