Ram [user:field_middlename] Khanal

Ram Khanal

Advisor
Community of Evaluator (COE) Nepal
Népal

I have been working as an expert in programme evaluation and management. I have carried out many projects and programme evaluation related to livelihoods enhancement, economic development, natural resources management, climate change, disaster risk reduction and sustainable development in Nepal and other South Asian countries. Currently, I am serving as a president of community of evaluators in Nepal and am also engaged in evaluation field building while working with the government of Nepal.

My contributions

    • I have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.

  • How are we progressing in SDG evaluation?

    Discussion
    • Chère Emilia,

      Merci d'avoir soulevé cette importante question.

      1.     J'ai eu l'occasion de participer à l'évaluation de certains aspects des ODD au Népal. Je trouve que l'évaluation d'objectifs ou de cibles spécifiques dans le cadre des ODD est un processus normal et que nous pouvons tirer des enseignements des approches d'évaluation existantes. L'évaluation de la durabilité à un niveau plus élevé, en tenant compte de la dimension spatio-temporelle de certaines interventions pendant ou à la fin de l'intervention, peut toutefois s'avérer une tâche difficile. Avec mon expérience limitée, j'ai rencontré certains défis lors de l'évaluation des interventions liées aux ODD. Je pense qu'il était bon de considérer la portée des interventions à un niveau plus élevé et de prendre en compte l'ensemble de l'écosystème des interventions sélectionnées (puisque les ODD sont intersectoriels, collaboratifs et bien d'autres termes utopiques), ce concept théoriquement attrayant a cependant posé quelques difficultés notables dans l'évaluation. Certaines d'entre elles sont des interventions à portée étroite ou basées sur des projets (à court terme, peu étendues, trop axées sur la fourniture d'activités, isolées, systèmes MEAL faibles et bien d'autres) ; les approches traditionnelles et l'état d'esprit de la commande et de la gestion de l'évaluation (comme le manque d'approche de la pensée systémique et les vues anticipatives que l'intervention peut mener à l'avenir) ; et l'évaluation opérationnelle de la durabilité (comme la conception faible de l'intervention, le manque de données critiques, le manque d'attribution et le temps limité alloué pour évaluer la condition de la durabilité).En outre, il existe des lacunes importantes dans les politiques d'évaluation, des défaillances institutionnelles et des lacunes critiques dans les capacités d'évaluation de la durabilité aux niveaux national et infranational. En outre, je ne vois pas beaucoup d'intérêt/enthousiasme pour effectuer une évaluation ex post des programmes, même de la part des grands donateurs et des partenaires de développement.

      2.      L'évaluation des ODD est encore un concept émergent pour de nombreuses organisations, y compris les agences de l'ONU. Les ODD étant encore nouveaux au niveau infranational, la demande de ce dernier est pour l'instant faible. 
       

      Salutations à tous, 

      Ram Chandra Khanal 

    • Cher Ravi ji,

      Merci d'avoir soulevé ce point important. J'aimerais apporter mes deux centimes d'euros sur la base de mon expérience limitée dans ce domaine.

      1. L'agroécologie est un concept multidimensionnel à différents niveaux ou échelles, de sorte qu'il peut être difficile de saisir la multifonctionnalité de l'agroécologie pour évaluer les performances en développant un cadre commun. Compte tenu des externalités, des interactions et des fonctions connues/inconnues/inconnues, l'évaluation des performances à l'aide de techniques quantitatives au niveau du ménage ou de l'exploitation ne sera pas adéquate. Outils participatifs tels que les tableaux de bord communautaires, en utilisant les observations et la satisfaction des gens peuvent être utiles. 
      2. Les aspects environnementaux, économiques et sociaux/institutionnels sont importants pour évaluer les performances, mais aussi la probabilité que les résultats se maintiennent. Les indicateurs de performance peuvent varier en fonction du contexte local, mais j'ai utilisé certains indicateurs tels que la présence de pollinisateurs, le niveau d'attaque des ravageurs, la diversité dilatoire et la sécurité alimentaire, l'utilisation de cultures traditionnelles/indigènes, la diversité des plantes/cultures utilisées à des fins alimentaires et médicinales, la contribution au revenu agricole, le niveau de tolérance au stress (tels que les risques climatiques), etc.   
        Salutations distinguées,

      Ram Chandra Khanal

    • Chers tous,

      De nombreux collègues ont mentionné l'utilité des outils visuels pour une meilleure communication.

      Je partage l'utilité de cette approche. J'ai remarqué que les outils visuels - le langage avec une clarté universelle - aident à communiquer (pendant et après l'évaluation) facilement car les outils abordent les barrières linguistiques avec de multiples niveaux culturels et d'alphabétisation parmi les groupes. C'est d'autant plus utile lorsqu'il s'agit d'impliquer les bénéficiaires du développement. D'après mon expérience, les gens deviennent plus coopératifs, comprennent facilement le contexte et l'objectif et contribuent à une prise de conscience rapide, à une meilleure réponse et à un apprentissage croisé.

      Mais ces évaluations, dans de nombreux cas, deviennent un processus mécanique avec un rapport longuement rédigé (avec un anglais soi-disant avancé qui n'est généralement pas compris par les nombreuses parties prenantes) qui sert l'objectif de la responsabilité mais pas de l'apprentissage. Dans le cadre de l'évaluation participative, j'ai une certaine expérience de l'utilisation d'outils visuels tels que les cartes des ressources sociales, les diagrammes de Venn, les cartes historiques et de mobilité et le tableau de bord de la communauté à des fins différentes. Les outils peuvent être développés en fonction des besoins et du contexte, mais une utilisation optimale des outils peut donner de meilleurs résultats.  

      Je vous prie d'agréer, Madame, Monsieur, l'expression de mes salutations distinguées,

      Ram  

    • Merci, Svetlana, de partager le document et de nous avoir demandé notre avis. Je n'ai qu'une connaissance limitée des systèmes du GCRAI, mais je vous fais part de mes observations basées sur mon travail antérieur sur les programmes de recherche et de développement agricoles dans le contexte asiatique.

      L'évaluation de la recherche et du développement de l'agriculture et des interventions de gestion des ressources naturelles associées n'est pas simple. C'est pourquoi je salue le travail de l'équipe qui a réussi à présenter les thèmes importants sous une forme concise et exploitable. Il y a cependant quelques observations qui pourraient être utiles pour réfléchir/réfléchir afin de rendre le document plus inclusif et d'en faire un outil de prise de décision pour les parties prenantes.

      J'essaie de me limiter à une seule question : "Pensez-vous que les lignes directrices répondent aux défis de l'évaluation de la qualité de la science et de la recherche dans les évaluations de processus et de performance ?

      Les lignes directrices pourraient se concentrer davantage sur les perspectives et l'émergence du système : 

      Le document a mis en évidence l'évolution du contexte de l'évaluation au sein du GCRAI. Il a soulevé des questions importantes liées à l'avenir de la sécurité alimentaire avec une mission de fournir la science et l'innovation pour transformer les systèmes alimentaires, terrestres et hydriques dans une crise climatique et mentionne également des changements transformateurs. Il est encore possible d'intégrer ces éléments importants dans l'administration actuelle de l'évaluation.

      Il se peut que la ligne directrice doive aller au-delà de l'évaluation technique pour s'orienter vers une évaluation inclusive ou axée sur les bénéficiaires.

      La ligne directrice mentionne certains publics et utilisateurs (tels que les bailleurs de fonds et les agences de mise en œuvre), mais elle n'insiste guère sur les communautés, qui pourraient également être une partie prenante importante de la recherche et de l'innovation. Il existe de nombreuses activités de recherche et de développement réussies (telles que la sélection participative des plantes, la sélection participative, la priorisation et la sélection participative des technologies) dans lesquelles les communautés/agriculteurs sont des parties prenantes importantes. Il semble que leur rôle soit un peu absent de cette ligne directrice.

      Les voies d'impact des interventions de recherche et de développement sont longues et imprévisibles; les critères ou questions d'évaluation devraient donc tenir compte de ces aspects.

      Une fois que les résultats de la recherche sont générés (dans certains cas, la recherche ne génère pas les résultats attendus), le processus de diffusion de la technologie peut prendre plus de temps en raison d'un retard de développement substantiel et du processus d'adoption, et ce processus peut affecter la réalisation de l'impact/des avantages de la technologie au cours de la période d'intervention. Cela peut également influencer les aspects de durabilité. L'intégration de ces aspects pourrait constituer un défi dans le processus d'évaluation de la recherche.

    • Cher Daniel et autres membres d'Evalforward,

      L'évaluation a été principalement développée et utilisée de manière mécanique et a surtout servi à cocher des cases (redevabilité des donateurs) plutôt qu'à apprendre et à s'améliorer. Aujourd'hui, nous savons que les indicateurs et le "cadre logique" sont plus ou moins redondants dans les situations complexes dans lesquelles la plupart des projets agricoles sont menés.

      Permettez-moi de vous faire part de mon expérience récente. Je fais partie d'une équipe chargée d'évaluer la contribution de l'aide budgétaire avec une petite assistance technique (intervention de 3 ans) d'un donateur au gouvernement pour mettre en œuvre une stratégie nationale de développement de l'agriculture dans l'un des pays d'Asie du Sud. En tant qu'évaluateur, j'ai relevé les points suivants au cours du processus d'évaluation :

      a) L'"aide budgétaire" est fournie au trésor public et n'est pas affectée au secteur agricole. Dans ce cas, il y a une forte possibilité de fongibilité. Nous ne savons pas si le secteur a reçu le fonds et s'il a la possibilité d'effectuer des travaux supplémentaires. Et comment évaluer la contribution.

      b) Le contrat de financement contenait des objectifs ambitieux et non pertinents : Le programme comporte six objectifs assortis d'échéances annuelles à respecter pour obtenir le financement. Ces objectifs sont non seulement ambitieux pour les trois années d'intervention, mais ils sortent également du champ d'action du ministère de l'agriculture. Par exemple, la diminution du pourcentage de retard de croissance et l'augmentation du pourcentage de propriété foncière des femmes au niveau national. Il ne s'agit pas d'une intervention directe du ministère de l'agriculture et de nombreux autres acteurs contribuent de manière responsable à la réalisation de ces objectifs sur une longue période. Les mécanismes de coordination et de collaboration entre les ministères et les agences gouvernementales sont également inadéquats pour obtenir des informations/progrès. En outre, il n'existe aucun système de gestion et d'évaluation permettant de collecter des données au niveau infranational.

      c) La structure de gouvernance est également passée d'une structure unitaire à une structure fédérale. Les trois niveaux de gouvernement fonctionnent chacun de leur côté, sans coordination ni mécanismes de rapport adéquats. Les institutions et les politiques sont en cours de développement alors qu'il existe un grave déficit de capacités. Dans ce cas, il a été difficile pour le ministère de collecter des données et de compiler des rapports.

      Dans ce contexte, le cadre logique n'a pas encore été révisé et les évaluateurs sont invités à évaluer la contribution du Fonds sur ces indicateurs/objectifs. Les agences de mise en œuvre et les donateurs tentent toujours d'attribuer l'impact du fonds, ce qui revient à "extraire l'eau d'une pierre". Peut-être qu'un effort est encore nécessaire pour rendre l'approche M&E plus contextuelle et plus utile.  
      Je suis d'accord : "c'est reparti" et "nous répétons", malheureusement.  

      Ram Chandra Khanal, PhD
      Évaluateur indépendant, Katmandou, Népal

       

       

    • Chers tous,

      Merci de partager votre expérience éclairante. J'ai une petite contribution basée sur mon expérience.

      La valeur de la culture dans l'évaluation est un discours moins débattu et pratiqué parmi les chercheurs en développement, les professionnels, les universitaires et les bailleurs de fonds. Pour diverses raisons, les questions culturelles sont moins représentées dans la conception de l'évaluation et les phases ultérieures. Lors de la conception d'une évaluation, la plupart des méthodes/outils d'enquête et d'observation ne tiennent pas compte du contexte - espace et temps - et se concentrent principalement sur les résultats et les indicateurs associés. Cela est d'autant plus important lorsqu'il s'agit de questions de développement social. L'approche récente consistant à utiliser la théorie du changement couvre, en principe, un spectre plus large du contexte, mais la compréhension des personnes et de leurs pratiques (=culture) n'a pas été une partie importante de l'analyse. Par exemple, au sein d'un groupe de personnes (prenons l'exemple des "hill Bramin" au Népal), les femmes ne disent généralement pas le nom de leur mari, ne serrent pas la main (elles ont une manière différente de saluer lorsqu'elles rencontrent des gens) et ne peuvent pas parler franchement avec un homme venant de l'extérieur. En outre, les rôles familiaux des hommes et des femmes sont également déterminés par les systèmes sociaux/la culture auxquels ils sont habitués depuis des générations, ce qui peut être étrange pour les personnes venant de l'Ouest. Certaines communautés vénèrent leur dieu avant d'initier des activités liées au projet ou d'accomplir les tâches du projet. Il existe des cas où les interventions de développement sont conçues sans tenir compte des aspects culturels (comme la démolition de temples ou de lieux sacrés ou religieux de certaines communautés pour construire une route qui affecte directement leur culture). Ce sont là quelques exemples. Dans ce cas, un évaluateur ne comprenant pas le contexte local et la culture - il/elle pourrait comprendre de différentes manières et les résultats globaux de l'évaluation pourraient être différents. Je pense qu'avoir un expert local (qui connaît la culture) et une conversation respectueuse avec les communautés sont deux stratégies que j'ai utilisées dans mes évaluations.

      Passez un bon week-end.

      Meilleures salutations, 

      Ram

       

    • Chère Malika,

      Je ne pourrais pas être plus d'accord avec les points que vous avez soulevés. L'indépendance et une couverture suffisante des données/informations sont essentielles pour une évaluation crédible. Mais le revers de la médaille est que les évaluateurs ne disposent généralement pas de suffisamment de temps/de jours et d'informations complètes (malgré les demandes) pour entrer en contact avec les parties prenantes, les bénéficiaires, les groupes comparables et les personnes potentiellement affectées négativement (cela manque sérieusement dans la plupart des évaluations) pendant l'évaluation. Ainsi, les processus d'évaluation ne sont pas responsables devant les personnes pour lesquelles les interventions sont prévues. 

      Meilleures salutations,

      -----------------------------------------

      Ram Chandra Khanal

       

    • Cher David,

      Merci d'avoir porté ces questions importantes à l'attention de cette communauté de pratique. Sur la base de mon expérience de travail dans les pays en voie de développement, j'ai la contribution suivante pour votre référence.

      Avec mes meilleures salutations,

      1. Trouver un équilibre entre la profondeur et la longueur de l'évaluation : les exercices de suivi et d'évaluation basés sur des entretiens et des enquêtes sur les exploitations agricoles peuvent représenter une charge importante pour les répondants, par exemple en détournant du temps qui serait autrement alloué à d'autres activités. La fatigue des répondants due à la longueur des entretiens/enquêtes peut également entraîner une baisse de la qualité des données collectées, et donc de la fiabilité des résultats. D'autre part, une évaluation plus courte peut aboutir à un niveau de profondeur insuffisant pour concevoir des interventions efficaces.

      - Comment réduire la charge des petits exploitants agricoles lors des évaluations de suivi et d'évaluation ?

      Je préfère faire/je fais :

      • Faire des questionnaires courts orientés vers les objectifs.
      • La plupart du temps, des questions fermées, mais aussi la possibilité de partager leurs points de vue et leurs perspectives.
      • Interviewer dans leur propre cadre et au moment qui leur convient le mieux
      • Leur faire sentir qu'ils bénéficient aussi de cet exercice
      • Créer une forte relation (compétences interpersonnelles) - (ne pas faire de la mécanique mais aussi parler de leurs problèmes personnels)
      • Offrir un cadeau (cela peut être à leurs enfants).

      - Quelles sont les meilleures façons d'inciter les agriculteurs à participer à l'enquête (par exemple, des incitations non monétaires, la participation à l'adaptation de l'enquête, à la présentation des résultats) ?

      Je préfère faire / je fais :

      • Lorsque j'étais responsable de programme/projet, j'avais l'habitude de fournir aux agriculteurs une compensation financière (je suis convaincu que nous devons payer le fournisseur d'informations car nous, les collecteurs d'informations, gagnons une bonne somme d'argent pour des fonctions similaires).
      • Compenser leur temps avec de bonnes collations/rafraîchissements.
      • Leur offrir un cadeau en guise de "gage d'amour".
      • Reconnaître leur soutien

      2. Rendre les résultats des évaluations de S&E utiles aux agriculteurs : compte tenu de la charge que représentent les exercices de S&E pour les agriculteurs, il est essentiel de veiller à ce que les résultats soient significatifs et accessibles pour eux. C'est en fait un objectif explicite de l'outil de S&E que nous développons. L'évaluation cherche à fournir une indication des forces et des faiblesses de la durabilité qui peut être utilisée, par exemple, par les agents de vulgarisation pour aider les agriculteurs à identifier les pratiques ciblées qui peuvent augmenter la durabilité globale de la production.

      - Sur la base de votre expérience, quels pourraient être les moyens les plus efficaces de communiquer les résultats de l'évaluation de la durabilité aux agriculteurs (par exemple, visites sur le terrain et apprentissage par les pairs, atelier d'information technique) ? Quel type de matériel de communication (par exemple, mémoires, dépliants, autres) est le plus approprié pour soutenir les événements de partage des connaissances ?

      • Clarifier les objectifs - en quoi l'évaluation de la durabilité est-elle importante pour les agriculteurs et leurs groupes ?
      • Organiser une réunion de partage et obtenir leur avis sur les résultats.
      • Utiliser pleinement les ressources locales (personnes, groupes locaux ou partenaires de confiance) pour partager les résultats.
      • Utiliser des illustrations, des aides visuelles et le langage local. 
      • Moins d'utilisation de mots techniques et de termes complexes

      - Avez-vous de l'expérience dans la comparaison des résultats entre agriculteurs de manière participative ? Quelle méthode avez-vous utilisée pour ce faire ? A-t-elle été efficace ?

      Si possible :

      • Faire des groupes de partage en fonction des groupes d'intérêt (comme les femmes agricultrices, les jeunes agriculteurs, les groupes d'agriculteurs en fonction de leur production ou de leur participation à différentes chaînes de valeur).
      • Utiliser des illustrations / des exemples / des aides visuelles / des démonstrations simples (par exemple, un gros lopin de maïs par rapport à un petit lopin) adaptées au contexte local (par exemple, si vous dites 50%, dans de nombreux cas, ils ne comprennent pas, si vous donnez un exemple tel que 100 unités et 150 unités (50% supplémentaires), ils seront peut-être en mesure de comprendre).

      Comment les résultats peuvent-ils être utilisés pour l'éducation non formelle des agriculteurs (par exemple, pour sensibiliser et/ou renforcer les capacités sur les moyens d'accroître la durabilité des exploitations) ?

      • Développer un module de formation participatif centré sur l'agriculteur, en tenant compte des besoins des agriculteurs.
      • Fournir une opportunité de partage aux agriculteurs (approche d'agriculteur à agriculteur).
      • Utilisation d'illustrations / exemples / aides visuelles / démonstration simple

      -----------------------------------------

      Ram Chandra Khanal (PhD)

      Évaluateur et gestionnaire de programme : Changement climatique/GRN/Agriculture

       

    • Chère Emma,

      Merci d’avoir posé cette importante question. La plupart du temps, le Suivi et Evaluation est considéré comme une fonction de redevabilitè des donateurs et les organismes de mise en œuvre suivent également la même approche. Dans ce cas, la participation des agriculteurs n’est pas considérée comme une condition préalable, mais parfois considérée comme si les agriculteurs ne posedent pas de «connaissances» sur ces questions techniques et seules les personnes techniques peuvent fournir ce service au nom des bénéficiaires (puisque les personnes techniques comprennent également le contexte local / agriculteurs contexte et les besoins).

      Le Suivi et Evaluation participatif a émergé pour rectifier ce défi où les agriculteurs seraient impliqués dans toutes les étapes du S&E - de la planification à l’évaluation finale. Il y a cependant des expériences mélangeèes dans les situations réelles. J’ai remarqué trois types de processus de S&E tout en travaillant pour diverses organisations de développement. Dans le premier groupe, le processus du Suivi et Evaluation participatif respecte dûment sa prémisse de base du principe participatif et implique les agriculteurs dans tout ou dans la majeure partie du cycle du projet (engagement profond). Dans le second, le projet utilise une approche plus opportuniste. Les agriculteurs sont invités juste avant ou après le lancement du projet (la plupart du temps au cours de la phase de création du projet) et la stratégie/plan de S&E est partagèe vec eux et les agriculteurs sont censés être impliqués dans le processus de S&E. D’après mon expérience, c’est l’approche la plus courante appliquée dans les projets agricoles dans la gestion du S&E (engagement de niveau moyen). Dans la troisième catégorie, les technocrates préparent le S&E et le partagent avec les agriculteurs pour leur faire part de leurs commentaires sur leur stratégie / plan de S&E déjà préparé (faible engagement). 

      Il existe de nombreux outils/méthodes participatifs de S&E qui dépendent du contexte et des questions techniques. Par exemple, pour la planification du projet, la « cartographie sociale et des ressources » serait très utile alors que pour un projet sur les marchés agricoles, le « Diagramme de Venn » pourrait fournir une bonne compréhension. De même, pour l’analyse des projets de sécurité alimentaire, le « calendrier saisonnier » fournirait des renseignements très utiles. J’ai également utilisé la « carte de pointage communautaire » pour évaluer le rendement (efficacité et efficacité) du projet. Il existe de nombreux outils disponibles, mais il est essentiel de comprendre le principe de base du processus participatif et il faut avoir une relation forte avec les agriculteurs pour utiliser les outils.

      Cordialement, 

      Ram Chandra Khanal

    • Hi Dorothy,

      I do not have an opportunity to have a systematic study on the issue your raised but based on my work experience, I have the following points to make.

      Subsistence farming with low productivity (both labour and land) is common in agriculture in most of the developing countries. Hence, most of the young population are leaving agriculture farming and are joining international labour force in Nepal. It is considered that agriculture farming is the profession of uneducated people who cannot make livelihoods from other sources. Agriculture universities are preparing ‘good graduates’ for international universities abroad and most of them remain do not come back. The policy-practice gap is huge and support provided by the government in the name of agriculture are also captured by elites and political influencers. This has created a perverse incentive to the young who want to start their own agri enterprises. But there are also some silver lines as well. Some young people who went abroad for employment come back with skills to use new technologies and management ability to run agri enterprises, especially in the urban and peri-urban areas. It may require a big shift in thinking and support from the government side and involve young entrepreneurs who can bring new innovation that helps to transform from subsistence farming to a profitable enterprise that can ensure their livelihoods. 

      Best regards,

      ---------------------------------------

      Ram Chandra Khanal, PhD

      Ex-President - Community of Evaluators - Nepal, BoDs - Nepal Krishi (agri) and board member SEF

      Kathmandu, Nepal

       

    • Hi all,

      Thanks for initiating a dialogue.

      From my experience, one important aspect is to know whether the project is really relevant to beneficiaries both in short and longer term and how the intervention is going to contribute the specific development objectives. Readiness of the beneficiaries to collaborate is another critical factor.
      It is also important to have a comprehensive theory change as the intervention is influenced by other internal/external factors that are responsible for creating enabling or disabling environment. Sometime – we generate our logic and reasons (we basically create an island in most of the time) but that may not held true and our interventions do not yield results. So, in many cases, relevancy and weak design have been the main reason for a success and failure of an intervention. I am sure there also other issues while implementing the project.

      Best regards,
      ---------------------------------------

      Ram Chandra Khanal, *PhD*

      *President - Community of Evaluators - Nepal and BoDs - Nepal Krishi (agri)*

      Kathmandu, Nepal