Is this really an output? Addressing terminology differences between evaluators and project managers

Is this really an output? Addressing terminology differences between evaluators and project managers
15 contributions

Is this really an output? Addressing terminology differences between evaluators and project managers

@FAOEvaluation

Hi! I'm Natalia Kosheleva, independent evaluation consultant. I regularly do evaluations commissioned by country offices of UN agencies. These evaluations are decentralized, which means that they are managed by M&E offices or project/program staff members who don't have much experience with evaluation and rely on agency Evaluation Handbook to prepare evaluation ToRs.

Evaluation Handbooks use the common definition of outputs as deliverables/immediate results of the project/program activities and hence production of outputs is under direct control of the project staff. And outcomes are defined as results further down the change chain achieved with the use of outputs by other stakeholders, including target beneficiaries and government.

Based on these definitions, the evaluation questions recommended by Handbooks and consequently put in the ToR are usually formulated like:

*             Have the outputs been delivered in a timely manner?

*             To what extent the project/program outcomes were achieved?

But once I turn to the description of the evaluated project/program, I often find out that outcomes are not framed in a way that you can easily attribute them to the project.

From my experience, people who manage decentralized evaluations are not very open to questioning project outputs or outcomes. In one of my recent evaluations I resolved the situation by making an agreemet with members of the Evaluation Management Group and going through the full chain of events and changes created by the project.

  • Did you experience the similar challenges due to differences in the use of terminology between people who planned the project and evaluators when doing evaluations?
  • And if you did, how did you handle them?

Thanks in advance for sharing your experience!

Natalia Kosheleva

evaluation consultant

Russia

 

Cette discussion est terminée. Veuillez contacter info@evalforward.org pour plus d'informations.
  • Bonjour Mme NIMAGA,

    Je vous remercie pour la question, et voici ma réponse.

    La mise en oeuvre des programmes de développement passe par des étapes successives jusqu'à la réalisation des changements souhaités/visés. Par exemple, si nous décidons de réduire la "mortalité liée au paludisme" dans une localité, le changement souhaité est la réduction du taux de mortalité (outcome, résultat). Pour parvenir à cette fin, nous avons pensé que les populations devraient utiliser beaucoup plus les moustiquaires imprégnées. Il faut donc une augmentation du taux d'utilisation de moustiquaires imprégnées (output, produits ou réalisations). Pour que les populations commencent à utiliser beaucoup plus les moustiquaires imprégnées, nous en avons distribuées. La distribution des moustiquaires imprégnées est l'activité (activity). Pour pouvoir réaliser cette activité, nous avons dû nous approvisionner en moustiquaires, carburants, ... (ce sont les intrants, inputs).

    Voilà un exemple explicatif qui pourrait vous aider. Je reste disponible pour répondre à d'autres questions. 

    Chère Mendy,

    Je suis d'accord avec votre texte, sauf un point. Nous ne pouvons pas dire que "le suivi et l'évaluation se préoccupent moins des activités et des résultats". Cette affirmation est vraie pour l'évaluation, mais pas pour le suivi. En effet, le suivi porte principalement sur les activités et les produits.

  • Bonjour à toute la communauté,

    Merci à Natalia pour sa question tout à fait pertinente.

    Les résultats sont souvent présentés par le concepteur du programme, du projet ou de la politique à évaluer. Cette présentation peut ne pas être pertinente car justement le concepteur et l’exécutant redoutent l'évaluation des résultats et consciemment ou inconsciemment, le recours à des termes ambigus est souvent utilisé.

    Dans l'exercice de mes fonctions, j'ai déjà rencontré ce type de situation et pour le besoin d'une évaluation objective, j'ai dû élaborer des canevas avec la terminologie adéquate et j'ai demandé à ce qu'on me présente les résultats selon les dits canevas.

    Bien entendu, le traitement des résultats chiffrés, présentés selon les nouveaux canevas, a permis de dégoupiller la chose et cela s'est avéré très efficace, car nous avons ainsi pu mettre à nu les chiffres initialement annoncés.

    Je peux donner un exemple très simple: un projet a été déclaré lancé alors qu'en cherchant ce qui se cachait derrière l’appellation "lancé", il s'est avéré que le projet était à la phase de son inscription comme opération planifiée.

    Un autre exemple: un projet était considéré comme "réalisé", alors que la réception provisoire n'était pas prononcée. Or cette dernière peut donner lieu à des réserves, dont la prise en charge prendra des délais plus ou moins longs et concrètement le projet serait en cours de réalisation et non pas réalisé.

    J'espère avoir pu vous aider un petit peu.

    Trés bonne journée à tous.

    Hynda Krachni

    Ministère de Finances, Algérie