Serdar [user:field_middlename] Bayryyev

Serdar Bayryyev

Senior Evaluation Officer
FAO
Italia

My contributions

  • Developing effective, inclusive and gender responsive MEAL systems

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Estimado Eriasafu

      Gracias por plantear estas importantes cuestiones y destacar la necesidad de integrar la función de evaluación con las de seguimiento y aprendizaje. Todas estas importantes funciones están interconectadas y, como tales, son parte integrante del ciclo de gestión eficaz de un proyecto. De hecho, el enfoque más eficaz sería que la evaluación se integrara desde el principio en el sistema general de gestión centrado en los resultados, en lugar de llevarse a cabo como un ejercicio "puntual" que sólo se produce en un momento determinado del ciclo del proyecto/programa.

      Me gustaría destacar algunos puntos que pueden estimular un mayor debate sobre las cuestiones que ha planteado.

      Objetivo y utilidad

      Antes de establecer o desarrollar cualquier sistema de seguimiento y evaluación, sus principales usuarios/interesados y desarrolladores deben tener claro el propósito y la utilidad del sistema. Por ejemplo, el sistema que genera principalmente datos para la elaboración de informes de alto nivel (corporativos) es diferente del sistema que se centra en la medición de los beneficios para la comunidad local o el seguimiento del impacto a nivel de los beneficiarios.  Cualquier sistema que se desarrolle debe ser también pragmático y tener en cuenta las capacidades y recursos disponibles, sin crear o añadir niveles de complejidad o funciones que puedan no utilizarse posteriormente.

      Consideraciones relacionadas con los derechos humanos y el género.

      Los sistemas de seguimiento y evaluación deben adherirse a los enfoques basados en los derechos, identificando potencialmente el efecto de los programas en la realización de los derechos humanos de las personas e identificando las mejores prácticas potenciales para garantizar el respeto de los derechos humanos durante la ejecución de las operaciones y los programas. Los procesos y actividades de seguimiento y evaluación deben integrar debidamente las consideraciones relacionadas con el género, midiendo cualquier efecto de los programas sobre las mujeres, las niñas, los hombres y los niños, y evaluando los beneficios y las dificultades. Esto puede lograrse integrando indicadores de rendimiento que tengan en cuenta el género en los marcos de resultados y recursos de los proyectos, identificando las posibles fuentes de información desagregadas por género, y garantizando que se recojan y utilicen datos desagregados por género para el seguimiento y la evaluación, en la medida de lo posible. 

      Abordar las limitaciones

      Las actividades de seguimiento y evaluación deben tener debidamente en cuenta el entorno operativo de los proyectos y programas y, en particular, las posibles limitaciones y riesgos. En situaciones de emergencia y de crisis, existen múltiples restricciones y limitaciones, entre las que se incluyen los problemas de acceso seguro a los lugares del proyecto y a los informantes previstos, la disponibilidad y fiabilidad de los datos y los posibles sesgos de los informantes clave en situaciones de crisis debido a su ubicación o afiliación. Estas limitaciones pueden abordarse recurriendo a socios/expertos locales, utilizando la supervisión de terceros, y/o el uso de tecnología moderna que permita la supervisión y la recopilación de datos a distancia (por ejemplo, teledetección vía satélites, datos geoespaciales disponibles, recopilación de datos digitales, plataformas de datos basadas en teléfonos móviles, teledetección con satélites, etc.)

      No hacer daño

      En todos los contextos, y en particular en los entornos afectados por las crisis, deben aplicarse los principios de "no hacer daño" en la planificación y realización de las actividades de seguimiento y evaluación, teniendo en cuenta las posibles sensibilidades y tensiones. Los enfoques de seguimiento y evaluación propuestos deben planificarse de manera que no afecten a los proveedores de datos de seguimiento y evaluación, y no exacerben las tensiones existentes, y/o empeoren las relaciones entre los informantes y los demás actores/comunidades locales. 

      Saludos cordiales,

      Serdar Bayryyev (FAO)

  • Principles for a healthy relationship between evaluators and experts

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Dear Ibtissem,

      Thank you for posting a blog on this important issue. The complexity of development interventions requires that evaluation teams have various types of expertise. Yet, it is often quite difficult to secure right mix of expertise, and it is even more challenging to ensure that this expertise is effectively utilized during a short span of the evaluation process.

      Evaluation managers/leaders (hereinafter referred as Evaluation Team Leaders) need to make their thoughtful decisions on what expertise they need to obtain for the evaluation team, and what combination of expert knowledge and experience would work best for their evaluation.  In making these decisions and in leading the evaluation processes, Evaluation Leaders may indeed be guided by the five competency domains highlighted by Ibtissem  (or the Competencies for Canadian Evaluation Practice), which resonate with the 2016 UNEG Evaluation Competency Framework (http://www.unevaluation.org/document/detail/1915 ).  

      The role of the evaluation leader in managing the teams of experts, is indeed strategic and challenging, and I would like to add just a few considerations in this regard, to stimulate further discussion on this important topic:

      Establishing strong leadership

      Evaluation Team Leaders need to effectively lead the evaluation team, coordinating effective engagement of each expert in the team, validating their individual inputs and undertaking quality controls at key milestones. Continuous communication with each team member throughout the process is essential to ensure that any questions are potential risks of drawbacks are timely and effectively addressed.

      Ensuring compliance with organizational standards

      The Evaluation Team leaders need to require compliance of each team members with applicable rules and regulations, and standards of conduct established by the organization, and establish quality parameters of expected deliverables. In collaboration with each team member, Evaluation Team Leader should ensure that there is a shared understanding of what is to be evaluated and how, clarifying how organizational standards and processes are to be applied, and what is expected from each individual team member.

      Focus, focus, focus

      Biases are unavoidable, yet their influence can be minimized by focusing on evaluation objective and clearly establishing the scope of evaluation analysis. Furthermore, it should be made clear that any expert inputs and viewpoints need to be validated and supported with solid and relevant evidence.

      Building relationships

      Teambuilding skills are essential, to ensure that team members support each other and works towards achieving common objective.

      Engaging external expert panels

      If at all possible, external panels of experts may be engaged to provide feedback on key thematic areas of your evaluation analysis. Recognized experts from counterpart organizations may assist by serving as high-level expert panel members, to review findings produced.

      These are just a few examples, and I anticipate continued discussion on this topic. 

      Kindest regards,


      Serdar Bayryyev

       

  • How to evaluate science, technology and innovation in a development context?

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      La necesidad de evaluar la ciencia, la tecnología y la innovación en un contexto de desarrollo

      La importancia de la ciencia, de la innovación y de la investigación para apoyar los esfuerzos globales hacia un desarrollo más sostenible y respetuoso con el clima es cada vez mayor. Hay una necesidad urgente de ciencia relevante, investigación de calidad e innovaciones que sean pioneras, ya que el mundo está experimentando nuevos retos y crisis sin precedentes. La evaluación de la calidad de la ciencia y de la investigación es esencial para determinar la utilidad y la eficacia de las actividades científicas, de innovación y de investigación.  Los resultados de la evaluación deben ayudar a los responsables de la toma de decisiones a determinar las áreas prioritarias importantes para una mayor investigación y facilitar la toma de decisiones sobre la asignación de recursos para futuras actividades de investigación.

      Principales limitaciones

      La evaluación de la ciencia y la investigación es, sin embargo, bastante complicada y se enfrenta a numerosos retos metodológicos. Por ejemplo, la evaluación de la relevancia y la importancia de los productos científicos o de investigación se basa principalmente en el uso de métodos bibliométricos. Se trata de un método cuantitativo que, de hecho, puede producir resultados sólidos basados en pruebas, pero su uso se ve restringido por importantes limitaciones.  Por ejemplo, no todos los productos de la ciencia, la innovación y la investigación están incluidos y debidamente registrados en las bases de datos bibliográficas, o ni siquiera se publican, por lo que no se pueden evaluar todos los productos.

      Los métodos bibliométricos se basan a menudo en el cálculo del número medio de citas, lo que también supone la base de algunos sesgos. Por ejemplo, a veces se presta una atención demasiado exagerada a un autor concreto, conocido por trabajos anteriores en un campo específico o afiliado a instituciones que cuentan con un fuerte apoyo político o financiero. En cuanto a las citas, algunos autores también pueden excluir deliberadamente ciertos materiales de referencia de sus publicaciones. Por lo tanto, siempre que se utilice el análisis de datos bibliométricos, debe usarse con precaución y combinarse con el uso de otros métodos con fines de validez.

      La otra gran limitación es que, en el complejo mundo actual de la ciencia y la innovación, existen diversas normas o criterios de evaluación de la calidad de la investigación, la ciencia y la innovación en diversas partes del mundo y en diversas partes de la ciencia y la innovación.

      La evaluación de los productos de la ciencia y la investigación también puede estar sesgada debido a las diferencias en la afiliación política, las creencias y las percepciones basadas en la cultura o la religión de quienes realizan estas evaluaciones o valoraciones.

      Consideraciones clave

      Dado que esta corriente de la función de evaluación aún está en evolución, hay algunas consideraciones clave que deben tenerse en cuenta a la hora de realizar una evaluación pertinente, o de desarrollar herramientas y métodos de evaluación adecuados.

      Evaluación de la relevancia/significación de la ciencia y la investigación.

      La evaluación de la relevancia o importancia de los productos científicos, de innovación y de investigación debe tener en cuenta el contexto en el que se van a utilizar. Lo que funciona en un contexto puede no ser adecuado para otro, y lo que constituye la innovación y la ciencia pionera varía sustancialmente según el uso o los usuarios previstos.

      Evaluar la eficacia (o la calidad)

      A la hora de evaluar la eficacia de la investigación y el análisis científico, la clave está en valorar la "influencia" de estas actividades, o el grado en que la ciencia, la innovación y los productos de la investigación han influido en las políticas, los enfoques o los procesos.  

      Evaluar el grado de "interconexión", es decir, el grado en que los investigadores y las instituciones científicas han interactuado con todas las partes interesadas pertinentes, incluidas las que pueden haber tenido una postura "negativa" u opuesta al tema de investigación en cuestión.

      Evaluar el carácter transformador

      En el mundo actual, quizá el criterio más importante para evaluar la pertinencia, el uso y la eficacia de las actividades de ciencia, innovación e investigación sea si estas actividades provocan un cambio verdaderamente transformador o, al menos, desencadenan un importante discurso político para avanzar hacia ese cambio transformador.

      Lo anterior son sugerencias para su consideración, que pretenden estimular una mayor retroalimentación en este importante debate.

      Saludos cordiales,


      Serdar Bayryyev

      Senior Evaluation Officer

       

       

  • Can we use an evidence-based, evolving Theory of Change to achieve "local learning” during project design?

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Estimado John,

      En mi opinión, la Teoría del Cambio, o marco lógico, o cualquier otro método utilizado para guiar el diseño de la intervención (proyecto) de desarrollo es fundamental. Estos métodos deben basarse en un análisis exhaustivo del contexto de desarrollo y de las cuestiones críticas que deben abordarse para satisfacer las necesidades y los deseos de las comunidades locales.

      Las organizaciones multilaterales tienen algunos ejemplos de proyectos de "desarrollo impulsado por la comunidad". Por ejemplo, el Fondo Internacional de Desarrollo Agrícola (FIDA) ha publicado recientemente una síntesis de evaluación de "El desarrollo impulsado por la comunidad en los proyectos apoyados por el FIDA" (FIDA, abril de 2020), que se basa en el examen de estudios de casos de proyectos de desarrollo impulsado por la comunidad. La teoría del cambio utilizada para esta síntesis se basó en el supuesto de que el capital social y el empoderamiento son el centro del enfoque del desarrollo impulsado por la comunidad. Esta teoría del cambio parte del supuesto de que el proceso de aplicación participativa "... se espera que logre una transformación verdaderamente sostenible de los medios de vida rurales mediante el fomento de la capacidad de los pobres para utilizar una gama más amplia de opciones de medios de vida y la transformación de las relaciones entre la comunidad y el gobierno para apoyar mejor los procesos de desarrollo centrados en las personas". Esta teoría del cambio se ilustra en la figura 2 de la página 5 del documento de síntesis, accesible a través del siguiente enlace:

      https://www.ifad.org/documents/38714182/41898849/ESR+CDD+-+final+with+c…

      Saludos cordiales,

      Serdar Bayryyev

      Organización de las Naciones Unidas para la Agricultura y la Alimentación

      Food and Agriculture Organization

       

  • Cohérence des interventions dans le secteur agricole

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Estimado Nabyouré Jean Stanislas OUEDRAOGO,

      Muchas gracias por plantear esta cuestión estratégica, que está en el centro de los debates celebrados hoy en el contexto de las mejores prácticas y vías de desarrollo para la consecución del Agenda 2030. Todos los países, todas las partes interesadas en el desarrollo, las comunidades y los individuos deben actuar en colaboración y en asociaciones productivas para avanzar hacia el logro de los objetivos de desarrollo sostenible.

      La proliferación de las intervenciones en pro del desarrollo podría convertirse, en efecto, en un factor negativo, si su universo se compone de proyectos que no exploten las posibles sinergias y las complementariedades aparentes, y no se basan en asociaciones basadas en un análisis sólido de los beneficios mutuos generados por la unión de fuerzas, capacidades y recursos en pro de objetivos comunes.

      Vivimos en comunidades y entornos que se ven afectados por una multitud de factores interconectados, definidos en términos generales como factores sociales, económicos, ambientales, sanitarios y otros factores de desarrollo. Por consiguiente, las intervenciones de desarrollo deben desarrollarse con la debida atención y teniendo plenamente en cuenta estas interrelaciones, interconexiones y compensaciones. Hay ejemplos de buenas prácticas utilizadas por las organizaciones de desarrollo para coordinar y consolidar el universo de las intervenciones de desarrollo a fin de tener plenamente en cuenta el contexto de desarrollo y aprovechar las posibles complementariedades al abordar los problemas y desafíos inherentes al desarrollo interrelacionado. A continuación, se presentan algunos de esos ejemplos:

      • El marco de las Naciones Unidas para la ayuda al desarrollo, si se planifica teniendo debidamente en cuenta el contexto local y con un análisis sólido de los problemas de desarrollo, orientará a las entidades de las Naciones Unidas y a otros agentes de desarrollo en la elaboración de un conjunto coherente y bien coordinado de medidas de apoyo al desarrollo con miras a alcanzar las metas y objetivos nacionales de desarrollo.
      • El Pacto Mundial de las Naciones Unidas que ayudó a crear iniciativas de múltiples interesados, con el apoyo de las Naciones Unidas, las instituciones financieras internacionales, las empresas privadas y las pequeñas y medianas empresas, para hacer frente a los problemas de desarrollo de manera más coordinada.
      • Los mecanismos de financiación mancomunada de las Naciones Unidas, que sirven de canales para dirigir las corrientes de desarrollo y asistencia humanitaria de diversos grupos de factores externos mediante planes nacionales de presupuestación y financiación, ayudaron a mejorar la eficacia, reducir la duplicación y promover la alineación entre una amplia gama de agentes.

      Estos son sólo algunos ejemplos del pasado reciente. La nueva generación de los Marcos de Cooperación para el Desarrollo Sostenible de las Naciones Unidas (https://unsdg.un.org/es/SDGPrimer), se están elaborando para trasladar el paradigma de la ayuda para el desarrollo de la asistencia a la cooperación, y de las contribuciones individuales de los organismos de desarrollo a una respuesta colectiva y coherente a las oportunidades, deficiencias y desafíos de los países.

      En los nuevos Marcos de Cooperación se examinarán las prioridades de desarrollo desde las múltiples perspectivas de los diversos grupos de interesados, tomando sus opiniones como base para elaborar un conjunto coherente de medidas de apoyo al desarrollo. De este modo, los Marcos de Cooperación tendrán por objeto elaborar intervenciones que tengan plenamente en cuenta los posibles efectos entre los diferentes sectores. Si se hacen y se aplican correctamente, estos Marcos de Cooperación guiarán la transformación de los proyectos de desarrollo en un conjunto coherente y bien coordinado de asistencia para el desarrollo, alineado con los planes nacionales para el logro de los Objetivos de Desarrollo Sostenible.

      Sólo una reflexión.

      Saludos cordiales,

      Serdar Bayryyev

      Food and Agriculture Organization

       

       

       

       

       

       

  • How to use Knowledge Management to strengthen the impact of Evaluation on smallholder agriculture development?

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Estimado Paul,

      Gracias por plantear esta importante cuestión, a la que se enfrentan con frecuencia los profesionales del desarrollo. Si bien ambas funciones, el seguimiento y la evaluación, por una parte, y la gestión de los conocimientos por otra, contribuyen al aprendizaje organizacional y a una programación eficaz para generar los beneficios previstos para las personas y las comunidades, estas funciones a menudo son gestionadas por diferentes unidades y siguen prácticas y ciclos organizacionales diferentes. Para garantizar que estas funciones se complementen entre sí, deben planificarse y sincronizarse, preferiblemente en la etapa de diseño del proyecto. Por ejemplo, los resultados de la vigilancia periódica realizada a intervalos trimestrales pueden utilizarse para elaborar productos de conocimiento, como boletines y folletos sobre estudios de casos, a fin de sensibilizar sobre los resultados obtenidos. Los ejercicios de vigilancia anual podrían servir para informar otro tipo de productos del conocimiento, como las lecciones aprendidas. La utilidad de las evaluaciones se puede mejorar mediante una difusión y transmisión más amplias (por ejemplo, a través de los medios de comunicación social, la televisión y la radio), con el apoyo de los profesionales de la gestión de los conocimientos.

      En un esfuerzo por asegurar que tanto los equipos de seguimiento y evaluación como los de gestión de los conocimientos trabajen en colaboración, podrían considerarse y aplicarse los siguientes pasos iniciales: 1) examinar con la dirección del programa y los beneficiarios sus necesidades en materia de seguimiento y evaluación y productos de gestión de los conocimientos; 2) acordar un plan conjunto de actividades de seguimiento y evaluación y de gestión de los conocimientos, centrándose en las complementariedades y la secuenciación; 3) elaborar un plan para la utilización y difusión eficaces de los productos de seguimiento y evaluación y de gestión de los conocimientos.

      Saludos cordiales,

      Serdar Bayryyev

      Senior Evaluation Officer (FAO)

       

  • Evaluation to support the “leaving no one behind” agenda: insights from the UNDP NEC Conference 2019

    Blog

    Over 500 participants from 100 countries joined this 6th NEC Conference to exchange and learn how to advance national evaluation agendas and to discuss the use of evaluation to accelerate the implementation of the SDGs.

    Leaving no one behind amid the rise in inequalities in society is a mounting concern in both the developed and developing world. Captured in Sustainable Development Goal 10, addressing inequalities needs to go beyond looking at the increasing gaps between higher and lower levels of income and wealth. Inequalities, in fact, touch on a multidimensional set of social, cultural, geographical, ethnic and other drivers that

    Escrito por

  • Challenges of evaluation

    Discussion

    • Serdar Bayryyev

      Senior Evaluation Officer FAO
      Italia

      Dear Hynda,

      You have raised a very important question, which affects the quality of evaluation work. Evaluations of development programmes in the broadly defined areas of rural development, agriculture and food security are inherently complex. The assessments of results in these areas are affected by a multiplicity of biophysical, economic, and social systems and factors. There are different types of constraints and challenges in evaluation work that depend mostly on the context of the programmes or policy work being evaluated.  For example, accurate and timely assessments of potential impact and development change may be affected by the remote location of project sites, social stratification of rural communities, time required to produce productivity gains, adoption capacities of local communities, and many other factors.

      Evaluators often encounter issues with availability of baseline data, or information on the prevailing conditions of the development situation at the start of the projects or programmes addressing food security and agriculture development. This issue could be addressed by reconstructing baselines, for example, using ‘recall’ technique, i.e. requesting key beneficiaries or stakeholders to recollect information about these conditions in the past.

      Security situation in the country may also have a huge impact on the access to data and methods we chose for evaluation. The choice of evaluators could also be highly limited, as not all may have necessary clearance to visit high-risk areas, or experience in working in similar situations. 

      Accessibility of project sites may also be restricted or banned. To address these constraints, local consultants with access to restricted zones may provide support in data collection, and potential alternative evaluation methods could be also considered. In recent FAO’s evaluation of the large irrigation rehabilitation programme in Afghanistan, evaluation team faced a constraint of accessing some of the programme sites. The team opted for alternative method by using the open-source data from Google to assess the potential impact of the programme on the livelihoods in those specific sites. Google Earth maps were utilized to measure the expansion of the irrigated area and the vegetative cover along different sections of the rehabilitated canals. The methodology for measuring these areas was also using preliminary information from enumerators in the field who had access to the restricted zones, and were engaged in supporting collection of necessary data and information for the evaluation (e.g. the GPS coordinates of the irrigated areas in the vicinity of the irrigation canals). Then this information was analyzed based on historic data available from Google Earth on before- and after-project conditions and the changes based on vegetative cover at different periods during a year.

      These are just a few highlights of the constraints and challenges that evaluators may encounter in their work and an example of possible ways to address those. The range of such constraints is quite broad, and we encourage all members of this community to share their experiences in addressing different types of constraints and limitations.

      Kind regards,

      Serdar Bayryyev,

      Evaluation Officer

      Food and Agriculture Organization (FAO)