My contributions
Sin embargo, evaluar la calidad de la CTI no resulta sencillo. Me gustaría compartir mis reflexiones sobre la forma en que las organizaciones de desarrollo podrían evaluar la CTI en su trabajo de manera útil.
El desafío
Muchas organizaciones de desarrollo no generan productos científicos, tecnológicos o innovadores, sino que recopilan y comparten conocimientos en materia de CTI. Proporcionan plataformas para intercambiar información y la difunden por medio de productos de conocimiento, como publicaciones y bases de datos. Evaluar el rigor técnico de estos productos es relativamente sencillo. Sin embargo, no basta con centrarse únicamente en este aspecto. Las organizaciones
Antes de la pandemia, los desplazamientos y los encuentros con las partes interesadas conferían a los responsables de las evaluaciones un cierto grado de flexibilidad y control sobre éstas. Desde entonces, han tenido que ajustar el diseño de las evaluaciones para poder supervisarlas y controlar su calidad a distancia. Hace poco he realizado una evaluación compleja sin viajar ni reunirme de manera presencial con las partes interesadas ni los miembros del equipo de evaluación. Como es probable que las restricciones continúen, me gustaría compartir mi experiencia.
Acerca de la evaluación
En la evaluación se examinó el Programa de Cooperación Técnica
I had two related questions before attending this workshop and learning exchange on users of outcome mapping and outcome harvesting:
1. What are the similarities and differences between the outcome-based approaches and other conventional approaches such as result-based and log-frame?
2. Can we use outcome-based approaches in evaluating complex development programmes?
I found that the outcome-based approaches are not very different from the other approaches at the concept level. However, there are some differences at the methodology level. I think this is because outcome-based approaches are adaptive approaches while conventional theory-based approaches are based-on deductive reasoning. More specifically:
The concept
What is a Theory of Change?
I looked around the web to find out what definitions are used.
Below is my favourite, from betterevaluation.org:
"A theory of change explains how activities are understood to produce a series of results that contribute to achieving the final intended impacts. It can be developed for any level of intervention – an event, a project, a programme, a policy, a strategy or an organization".
At our office, a Theory of Change typically visualizes ‘how the project is supposed to work’.
Is our Theory of Change useful?
The final output of our evaluation exercise
Nanae Yabuki
Evaluation Officer FAOGracias por las valiosas aportaciones. El debate ha confirmado que sería necesaria una combinación de métodos cualitativos y cuantitativos para evaluar la calidad de la ciencia (QoS) en el contexto del desarrollo.
El análisis bibliométrico podría ser útil para evaluar la legitimidad de los resultados de la investigación y la credibilidad de los productos del conocimiento. La FAO realiza investigación aplicada y elabora productos de conocimiento como las publicaciones. El análisis bibliométrico puede ayudar a evaluar la calidad de nuestros productos de conocimiento.
La FAO no sólo realiza trabajos de conocimiento, sino también actividades de campo. Utilizamos la evidencia científica para mejorar el impacto de las intervenciones, resolver problemas específicos de desarrollo, etc. Para evaluar estos aspectos, la "utilidad" de los resultados de la investigación es más relevante que la "importancia" de los mismos. La relevancia de la ciencia, la tecnología y la innovación (CTI) depende del contexto. El modo en que la CTI desencadena un cambio transformador también es específico del contexto. Por lo tanto, es necesario establecer criterios adecuados para cada evaluación.
Aunque la estandarización puede ser difícil, valdría la pena esforzarse por diseñar las evaluaciones de CTI de manera que los resultados de la evaluación puedan utilizarse, en la medida de lo posible, a nivel institucional, para una mayor planificación estratégica y programática, por ejemplo.
Diferentes organizaciones de desarrollo utilizan la CTI en su trabajo y evalúan su labor. Creo que podemos aprender de las experiencias de los demás.