Serdar [user:field_middlename] Bayryyev

Serdar Bayryyev

Senior Evaluation Officer
FAO
Italie

My contributions

    • Cher Eriasafu,

      Merci de soulever ces questions importantes et de souligner la nécessité d'intégrer la fonction d'évaluation à celles du suivi et de l'apprentissage. Toutes ces fonctions importantes sont interconnectées et, en tant que telles, font partie intégrante d'un cycle de gestion de projet efficace. L'approche la plus efficace consisterait à intégrer dès le départ l'évaluation dans le système global de gestion axé sur les résultats, plutôt que de la réaliser comme un exercice ponctuel à un moment donné du cycle du projet/programme.

      J'aimerais souligner quelques points qui pourraient stimuler une discussion plus approfondie sur les questions que vous avez posées.

      Objectif et utilité

      Avant d'établir ou de développer tout système de suivi et d'évaluation, ses principaux utilisateurs/parties prenantes et ses développeurs doivent être clairs sur le but et l'utilité du système. Par exemple, le système qui génère principalement des données pour les rapports de niveau supérieur (entreprise) est différent du système qui se concentre sur la mesure des avantages pour la communauté locale ou le suivi de l'impact au niveau du bénéficiaire.  Tout système développé doit également être pragmatique et tenir compte des capacités et des ressources disponibles, sans créer ou ajouter des niveaux de complexité ou des fonctions qui pourraient ne pas être utilisées par la suite.

      Considérations relatives aux droits de l'homme et au genre.

      Les systèmes de suivi et d'évaluation doivent adhérer aux approches basées sur les droits, en identifiant potentiellement l'effet des programmes sur les personnes qui réalisent leurs droits humains et en identifiant les meilleures pratiques potentielles pour garantir le respect des droits humains lors de la mise en œuvre des opérations et des programmes. Les processus et activités de suivi et d'évaluation devraient intégrer dûment les considérations liées au genre, en mesurant tout effet des programmes sur les femmes, les filles, les hommes et les garçons, et en évaluant les avantages et les inconvénients. Ces objectifs peuvent être atteints en intégrant des indicateurs de performance sensibles au genre dans les cadres de résultats et de ressources des projets, en identifiant les sources potentielles d'informations ventilées par sexe et en veillant à ce que les données ventilées par sexe soient collectées et utilisées pour le suivi et l'évaluation, dans la mesure du possible. 

      Prise en compte des contraintes

      Les activités de suivi et d'évaluation doivent tenir compte de l'environnement opérationnel des projets et des programmes, et en particulier des contraintes et des risques potentiels. Dans les situations d'urgence et les contextes de crise, les contraintes et les limitations sont multiples, y compris les questions d'accès sécurisé aux sites de projet et aux informateurs prévus, la disponibilité et la fiabilité des données, les biais possibles des informateurs clés dans les contextes de crise en raison de leur localisation ou de leur affiliation. Ces contraintes peuvent être résolues en faisant appel à des partenaires/experts locaux, en recourant à un suivi par une tierce partie et/ou en utilisant une technologie moderne qui permet le suivi et la collecte de données à distance (par exemple, la télédétection par satellite, les données géospatiales disponibles, la collecte de données numériques, les plateformes de données basées sur les téléphones portables, la télédétection par satellite, etc.)

      Ne pas nuire

      Dans tous les contextes, et en particulier dans les situations de crise, les principes de "Ne pas nuire" doivent être appliqués lors de la planification et de la réalisation des activités de suivi et d'évaluation, en tenant compte des sensibilités et des tensions potentielles. Les approches de suivi et d'évaluation proposées doivent être planifiées de manière à ne pas affecter les fournisseurs de données de suivi et d'évaluation, à ne pas exacerber les tensions existantes et/ou à ne pas détériorer les relations entre les informateurs et les autres acteurs/communautés locales. 

      Bien à vous,

      Serdar Bayryyev (FAO)

    • Dear Ibtissem,

      Thank you for posting a blog on this important issue. The complexity of development interventions requires that evaluation teams have various types of expertise. Yet, it is often quite difficult to secure right mix of expertise, and it is even more challenging to ensure that this expertise is effectively utilized during a short span of the evaluation process.

      Evaluation managers/leaders (hereinafter referred as Evaluation Team Leaders) need to make their thoughtful decisions on what expertise they need to obtain for the evaluation team, and what combination of expert knowledge and experience would work best for their evaluation.  In making these decisions and in leading the evaluation processes, Evaluation Leaders may indeed be guided by the five competency domains highlighted by Ibtissem  (or the Competencies for Canadian Evaluation Practice), which resonate with the 2016 UNEG Evaluation Competency Framework (http://www.unevaluation.org/document/detail/1915 ).  

      The role of the evaluation leader in managing the teams of experts, is indeed strategic and challenging, and I would like to add just a few considerations in this regard, to stimulate further discussion on this important topic:

      Establishing strong leadership

      Evaluation Team Leaders need to effectively lead the evaluation team, coordinating effective engagement of each expert in the team, validating their individual inputs and undertaking quality controls at key milestones. Continuous communication with each team member throughout the process is essential to ensure that any questions are potential risks of drawbacks are timely and effectively addressed.

      Ensuring compliance with organizational standards

      The Evaluation Team leaders need to require compliance of each team members with applicable rules and regulations, and standards of conduct established by the organization, and establish quality parameters of expected deliverables. In collaboration with each team member, Evaluation Team Leader should ensure that there is a shared understanding of what is to be evaluated and how, clarifying how organizational standards and processes are to be applied, and what is expected from each individual team member.

      Focus, focus, focus

      Biases are unavoidable, yet their influence can be minimized by focusing on evaluation objective and clearly establishing the scope of evaluation analysis. Furthermore, it should be made clear that any expert inputs and viewpoints need to be validated and supported with solid and relevant evidence.

      Building relationships

      Teambuilding skills are essential, to ensure that team members support each other and works towards achieving common objective.

      Engaging external expert panels

      If at all possible, external panels of experts may be engaged to provide feedback on key thematic areas of your evaluation analysis. Recognized experts from counterpart organizations may assist by serving as high-level expert panel members, to review findings produced.

      These are just a few examples, and I anticipate continued discussion on this topic. 

      Kindest regards,


      Serdar Bayryyev

       

    • La nécessité d'évaluer la science, la technologie et l'innovation dans un contexte de développement

      L'importance de la science, de l'innovation et de la recherche pour appuyer les efforts globaux vers un développement plus durable et respectueux du climat est croissante. Il existe un besoin urgent d'une science pertinente, d'une recherche de qualité et d'innovations révolutionnaires, car le monde est confronté à des défis et à des crises nouveaux et sans précédent. L'évaluation de la qualité de la science et de la recherche est essentielle pour déterminer l'utilité et l'efficacité des activités de science, d'innovation et de recherche.  Les résultats de l'évaluation devraient aider les décideurs à déterminer les domaines prioritaires importants à approfondir et faciliter la prise de décision concernant les allocations de ressources pour les futures activités de recherche.

      Principales contraintes

      L'évaluation de la science et de la recherche est cependant assez compliquée et fait face à de nombreux défis méthodologiques. Par exemple, l'évaluation de la pertinence et de l'importance des produits scientifiques ou de recherche repose principalement sur l'utilisation de méthodes bibliométriques. Il s'agit d'une méthode quantitative qui peut en fait produire des résultats solides fondés sur des preuves, mais son utilisation est limitée par des contraintes majeures.  Par exemple, les produits de la science, de l'innovation et de la recherche ne sont pas tous inclus et correctement enregistrés dans les bases de données bibliographiques, ou ne sont même pas publiés, et ne peuvent donc pas tous être évalués.

      Les méthodes bibliométriques sont souvent basées sur le calcul du nombre moyen de citations, ce qui présente également la base de certains biais. Par exemple, on accorde parfois une attention exagérée à un auteur particulier, connu pour des travaux antérieurs dans un domaine spécifique ou affilié à des institutions bénéficiant d'un fort soutien politique ou financier. En termes de citations, certains auteurs peuvent également exclure délibérément certains matériaux de référence de leurs publications. Dès lors, chaque fois que l'analyse des données bibliométriques est utilisée, elle doit l'être avec prudence et doit être combinée à l'utilisation d'autres méthodes pour des raisons de validité.

      L'autre limite majeure est que, dans le monde complexe de la science et de l'innovation d'aujourd'hui, il existe diverses normes ou critères d'évaluation de la qualité de la recherche, de la science et de l'innovation dans diverses parties du monde, et dans diverses parties de la science et de l'innovation.

      L'évaluation des produits de la science et de la recherche peut également être biaisée en raison des différences d'affiliation politique, de croyances, de perceptions culturelles ou religieuses de ceux qui réalisent ces évaluations.

      Considérations clés

      Ce volet de la fonction d'évaluation étant encore en pleine évolution, il existe quelques considérations clés à prendre en compte pour entreprendre une évaluation pertinente, ou pour développer des outils et des méthodes d'évaluation appropriés.

      Évaluation de la pertinence/importance de la science et de la recherche.

      L'évaluation de la pertinence ou de l'importance des produits de la science, de l'innovation et de la recherche doit tenir compte du contexte dans lequel ces produits doivent être utilisés. Ce qui fonctionne dans un contexte peut ne pas convenir à un autre, et ce qui constitue l'innovation et la science de pointe varie considérablement en fonction de l'utilisation prévue ou des utilisateurs.

      Évaluation de l'efficacité (ou de la qualité)

      Pour évaluer l'efficacité de la recherche et de l'analyse scientifique, il est essentiel d'évaluer l'"influence" de ces activités, ou la mesure dans laquelle la science, l'innovation et les produits de la recherche ont influencé les politiques, les approches ou les processus.  

      Évaluer le degré de "mise en réseau", c'est-à-dire la mesure dans laquelle les chercheurs et les institutions scientifiques ont interagi avec toutes les parties prenantes concernées, y compris celles qui pouvaient avoir une position "négative" ou opposée au thème/sujet de recherche.

      Évaluer la nature transformationnelle

      Dans le monde d'aujourd'hui, le critère le plus important pour évaluer la pertinence, l'utilisation et l'efficacité de la science, de l'innovation et des activités de recherche est peut-être de savoir si ces activités provoquent un véritable changement transformationnel ou, du moins, si elles déclenchent un discours politique important sur l'évolution vers un tel changement transformationnel.

      Les textes ci-dessus sont des suggestions à prendre en considération, qui visent à stimuler un retour d'information supplémentaire sur cette importante discussion.

      Bien à vous,

      Serdar Bayryyev

      Senior Evaluation Officer

    • Cher John,

      À mon avis, la théorie du changement, ou le cadre logique, ou toute autre méthode utilisée pour guider la conception de l'intervention de développement (projet) est essentielle. Ces méthodes doivent être basées sur une analyse complète du contexte de développement et des questions critiques à traiter pour répondre aux besoins et aux désirs des communautés locales.

      Les organisations multilatérales ont quelques exemples de projets de "développement communautaire". Par exemple, le Fonds international de développement agricole (FIDA) a récemment publié une synthèse d'évaluation de "Community-driven development in IFAD-supported projects" (FIDA, avril 2020), qui est basée sur l'examen d'études de cas de projets de développement menés par les communautés. La théorie du changement utilisée pour cette synthèse est basée sur l'hypothèse que le capital social et l'autonomisation sont au centre de l'approche du développement communautaire. Cette théorie du changement suppose que le processus de mise en œuvre participative "...devrait permettre une transformation véritablement durable des moyens de subsistance en milieu rural en renforçant les capacités des populations pauvres à utiliser un plus large éventail d'options de subsistance et en transformant les relations entre la communauté et le gouvernement pour mieux soutenir les processus de développement centrés sur les personnes". Cette théorie du changement est illustrée dans la figure 2 de la page 5 du document de synthèse accessible via le lien suivant :

      https://www.ifad.org/documents/38714182/41898849/ESR+CDD+-+final+with+c…

      Bien à vous,

      Serdar Bayryyev

      Organisation des Nations unies pour l'alimentation et l'agriculture

       

    • Cher Nabyouré Jean Stanislas OUEDRAOGO,

      Merci beaucoup d'avoir soulevé cette question stratégique, qui est au cœur des discussions tenues aujourd'hui dans le contexte des meilleures pratiques et des voies de développement pour la réalisation de l'Agenda 2030. Tous les pays, tous les acteurs du développement, les communautés et les individus devraient agir dans le cadre de partenariats collaboratifs et productifs pour progresser vers la réalisation des objectifs de développement durable.

      La prolifération des interventions en matière de développement pourrait en effet devenir un facteur négatif, si leur univers est composé de projets qui n'exploitent pas les synergies potentielles et les complémentarités apparentes, et ne sont pas fondés sur des partenariats reposant sur une analyse solide des avantages mutuels générés par l'union des forces, des capacités et des ressources en vue d'atteindre des objectifs communs.

      Nous vivons dans des communautés et des environnements qui sont affectés par une multitude de facteurs interconnectés, définis au sens large comme des facteurs sociaux, économiques, environnementaux, liés à la santé et autres facteurs de développement. En conséquence, les interventions en matière de développement doivent être élaborées en accordant toute l'attention requise à ces liens, interconnexions et compromis. Il existe des exemples de bonnes pratiques utilisées par les organisations de développement pour coordonner et consolider l'univers des interventions de développement afin de prendre pleinement en compte le contexte de développement et d'exploiter les complémentarités potentielles en abordant les questions de développement intrinsèquement interdépendantes et contestées. Certains de ces exemples sont présentés ci-dessous :

      - Le plan-cadre des Nations unies pour l'aide au développement, s'il est planifié en tenant dûment compte du contexte local et en s'appuyant sur une analyse solide des problèmes de développement, guidera les entités des Nations unies et les autres acteurs du développement dans la production d'un ensemble cohérent et bien coordonné d'aides au développement visant à atteindre les buts et objectifs nationaux de développement.

      - Le Pacte mondial des Nations unies qui a contribué à la création d'initiatives multipartites, soutenues par les Nations unies, les institutions financières internationales, les entreprises privées et les petites et moyennes entreprises, pour relever les défis du développement de manière plus coordonnée.

      - Les mécanismes de financement commun des Nations unies, qui servent de canaux pour orienter les flux de développement et d'aide humanitaire provenant de divers groupes de facteurs externes par le biais de programmes nationaux de budgétisation et de financement, ont contribué à améliorer l'efficacité, à réduire les doubles emplois et à promouvoir l'alignement entre un large éventail d'acteurs.

      Ce ne sont là que quelques exemples du passé récent. La nouvelle génération des plans cadre de coopération des Nations unies pour le développement durable (https://unsdg.un.org/fr/SDGPrimer), est en cours d'élaboration pour faire passer le paradigme de l'aide au développement de l'assistance à la coopération, et des contributions individuelles des agences de développement à une réponse collective et cohérente aux opportunités, aux lacunes et aux défis des pays.

      Les nouveaux cadres de coopération prendront en compte les priorités de développement selon les multiples perspectives des divers groupes de parties prenantes, en prenant leurs points de vue comme base pour élaborer un ensemble cohérent de mesures d'aide au développement. Ce faisant, les cadres de coopération viseront à mettre au point des interventions qui tiennent pleinement compte des effets potentiels dans les différents secteurs. S'ils sont bien conçus et mis en œuvre, ces cadres de coopération guideront la transformation des projets de développement en un ensemble cohérent et bien coordonné d'aide au développement, aligné sur les plans nationaux visant à atteindre les objectifs de développement durable.

      Juste une réflexion.

      Serdar Bayryyev

      Food and Agriculture Organization

       

       

       

       

       

       

    • Cher Paul,

      Merci d'avoir soulevé cette question importante, à laquelle sont souvent confrontés les praticiens du développement. Si les deux fonctions, le S&E d'une part, et la gestion des connaissances d'autre part, contribuent à l'apprentissage organisationnel et à une programmation efficace en vue de générer les bénéfices escomptés pour les personnes et les communautés, ces fonctions sont très souvent gérées par différentes unités et suivent des pratiques et des cycles organisationnels différents. Pour garantir la complémentarité de ces fonctions, elles doivent être planifiées et synchronisées, de préférence au stade de la conception du projet. Par exemple, les résultats du suivi périodique effectué à intervalles trimestriels, peuvent être utilisés pour produire des produits de connaissance, tels que des bulletins d'information et des brochures d'études de cas pour sensibiliser aux résultats obtenus. Les exercices de suivi annuels pourraient servir à informer un autre type de produits de connaissance - tels que les enseignements tirés. L'utilité des évaluations peut être renforcée par une diffusion plus large (par exemple via les réseaux sociaux, la télévision, la radio), avec le soutien de professionnels de la gestion des connaissances.

      Dans un effort pour s'assurer que les équipes de S&E et de gestion des connaissances travaillent ensemble, les étapes initiales suivantes pourraient être envisagées et appliquées : 1) discuter avec la direction du programme et les bénéficiaires de leurs besoins en matière de produits de S&E et de gestion des connaissances ; 2) convenir d'un plan commun d'activités de S&E et de gestion des connaissances, en se concentrant sur les complémentarités et le séquençage ; 3) élaborer un plan pour une utilisation et une diffusion efficaces des produits de S&E et de gestion des connaissances.

      Cordialement,

      Serdar Bayryyev

      Senior Evaluation Officer (FAO)

       

  • Over 500 participants from 100 countries joined this 6th NEC Conference to exchange and learn how to advance national evaluation agendas and to discuss the use of evaluation to accelerate the implementation of the SDGs.

    Leaving no one behind amid the rise in inequalities in society is a mounting concern in both the developed and developing world. Captured in Sustainable Development Goal 10, addressing inequalities needs to go beyond looking at the increasing gaps between higher and lower levels of income and wealth. Inequalities, in fact, touch on a multidimensional set of social, cultural, geographical, ethnic and other drivers that

  • Challenges of evaluation

    Discussion
    • Dear Hynda,

      You have raised a very important question, which affects the quality of evaluation work. Evaluations of development programmes in the broadly defined areas of rural development, agriculture and food security are inherently complex. The assessments of results in these areas are affected by a multiplicity of biophysical, economic, and social systems and factors. There are different types of constraints and challenges in evaluation work that depend mostly on the context of the programmes or policy work being evaluated.  For example, accurate and timely assessments of potential impact and development change may be affected by the remote location of project sites, social stratification of rural communities, time required to produce productivity gains, adoption capacities of local communities, and many other factors.

      Evaluators often encounter issues with availability of baseline data, or information on the prevailing conditions of the development situation at the start of the projects or programmes addressing food security and agriculture development. This issue could be addressed by reconstructing baselines, for example, using ‘recall’ technique, i.e. requesting key beneficiaries or stakeholders to recollect information about these conditions in the past.

      Security situation in the country may also have a huge impact on the access to data and methods we chose for evaluation. The choice of evaluators could also be highly limited, as not all may have necessary clearance to visit high-risk areas, or experience in working in similar situations. 

      Accessibility of project sites may also be restricted or banned. To address these constraints, local consultants with access to restricted zones may provide support in data collection, and potential alternative evaluation methods could be also considered. In recent FAO’s evaluation of the large irrigation rehabilitation programme in Afghanistan, evaluation team faced a constraint of accessing some of the programme sites. The team opted for alternative method by using the open-source data from Google to assess the potential impact of the programme on the livelihoods in those specific sites. Google Earth maps were utilized to measure the expansion of the irrigated area and the vegetative cover along different sections of the rehabilitated canals. The methodology for measuring these areas was also using preliminary information from enumerators in the field who had access to the restricted zones, and were engaged in supporting collection of necessary data and information for the evaluation (e.g. the GPS coordinates of the irrigated areas in the vicinity of the irrigation canals). Then this information was analyzed based on historic data available from Google Earth on before- and after-project conditions and the changes based on vegetative cover at different periods during a year.

      These are just a few highlights of the constraints and challenges that evaluators may encounter in their work and an example of possible ways to address those. The range of such constraints is quite broad, and we encourage all members of this community to share their experiences in addressing different types of constraints and limitations.

      Kind regards,

      Serdar Bayryyev,

      Evaluation Officer

      Food and Agriculture Organization (FAO)