My contributions
Toutefois, évaluer la qualité de la STI n'est pas simple pour les organisations de développement. Je voudrais partager ici mes idées sur la manière dont les organisations de développement pourraient évaluer de manière pertinente la STI dans leurs activités.
Difficultés
Dans la plupart des cas, les organisations de développement ne génèrent pas de STI mais rassemblent et partagent des connaissances en matière de STI. Elles fournissent des plates-formes pour l'échange de connaissance et diffuse cette dernière à travers des produits de connaissance, tels que des publications et des bases de données. Il est relativement simple d'évaluer la rigueur technique des
Avant la pandémie, les déplacements et les réunions en face à face avec les parties prenantes permettaient aux responsables d'évaluation d'avoir un certain degré de flexibilité et de contrôle sur les évaluations. Depuis, les responsables ont dû adapter la conception des évaluations pour assurer la surveillance à distance et le contrôle de la qualité. J'ai dirigé récemment une évaluation complexe sans déplacements ni réunions en présence avec les parties prenantes et les membres de l'équipe d'évaluation. Les restrictions étant probablement amenées à se poursuivre, je souhaite partager mon expérience.
À propos de l'évaluation
L'évaluation concernait le programme de coopération technique
I had two related questions before attending this workshop and learning exchange on users of outcome mapping and outcome harvesting:
1. What are the similarities and differences between the outcome-based approaches and other conventional approaches such as result-based and log-frame?
2. Can we use outcome-based approaches in evaluating complex development programmes?
I found that the outcome-based approaches are not very different from the other approaches at the concept level. However, there are some differences at the methodology level. I think this is because outcome-based approaches are adaptive approaches while conventional theory-based approaches are based-on deductive reasoning. More specifically:
The concept
What is a Theory of Change?
I looked around the web to find out what definitions are used.
Below is my favourite, from betterevaluation.org:
"A theory of change explains how activities are understood to produce a series of results that contribute to achieving the final intended impacts. It can be developed for any level of intervention – an event, a project, a programme, a policy, a strategy or an organization".
At our office, a Theory of Change typically visualizes ‘how the project is supposed to work’.
Is our Theory of Change useful?
The final output of our evaluation exercise
Nanae Yabuki
Evaluation Officer FAOMerci pour ces précieux commentaires. La discussion a confirmé qu'un mélange de méthodes qualitatives et quantitatives serait nécessaire pour évaluer la qualité de la science (QoS) dans le contexte du développement.
L'analyse bibliométrique pourrait être utile pour évaluer la légitimité des résultats de la recherche et la crédibilité des produits de connaissance. La FAO entreprend des recherches appliquées et produit des connaissances telles que des publications. L'analyse bibliométrique peut aider à évaluer la qualité de nos produits de connaissance.
La FAO entreprend non seulement un travail de connaissance mais aussi des activités de terrain. Nous utilisons les preuves scientifiques pour renforcer l'impact des interventions, résoudre des problèmes de développement spécifiques, etc. Pour évaluer ces aspects, l'"utilité" des résultats de la recherche est plus pertinente que leur " significativité ". La pertinence de la science, de la technologie et de l'innovation (STI) est spécifique au contexte. La façon dont la STI déclenche un changement transformationnel est également spécifique au contexte. Par conséquent, nous devons trouver des critères appropriés pour chaque évaluation.
Bien que la standardisation puisse être difficile, il vaudrait la peine de faire des efforts pour concevoir les évaluations de la STI de manière à ce que les résultats de l'évaluation puissent être utilisés, dans la mesure du possible, au niveau institutionnel, pourpour un apprentissage à l'échelle du système.
Différentes organisations de développement utilisent la STI dans leur travail et évaluent leur travail. Je pense que nous pouvons apprendre de nos expériences respectives.