Merci Amy et les autres pour ce fil de discussion intéressant.
Nous avons participé à de nombreuses évaluations de l'évaluabilité (EE) pour différentes organisations - institutions financières internationales, agences des Nations unies, ONG et secteur privé. Je suis d'accord avec Rick pour dire que c'est la complexité plutôt que la taille de l'investissement qui est la plus importante en termes de valeur de l'EE. Les institutions dont le mandat et les procédures opérationnelles sont clairs, et qui disposent souvent d'un menu d'indicateurs de performance et de lignes directrices, n'ont généralement pas besoin d'une EE.
Les évaluations les plus utiles auxquelles nous avons participé concernent des projets de développement complexes dont les résultats escomptés peuvent être émergents, avec des indicateurs de processus ainsi que des indicateurs de résultats et d'extrants. Les EE sont également utiles lorsque les capacités de suivi et d'évaluation de l'équipe de mise en œuvre sont limitées et qu'elle ne sait pas comment mesurer ce qui a été défini dans la conception du projet. Il s'agit alors de la valeur incrémentale de l'EE et de l'investissement dans le rapport coût-bénéfice - deux exemples récents sont présentés ci-dessous.
Dans le premier cas, il s'agissait d'un programme très complexe de gestion des ressources naturelles qui atteignait ses dernières années et qui couvrait les résultats politiques, institutionnels et physiques. L'équipe chargée de la mise en œuvre s'est rendu compte qu'elle ne savait pas comment mesurer tous les résultats finaux - elle avait supposé qu'une équipe d'évaluation d'impact produirait toutes les données requises, mais elle ne disposait pas du budget nécessaire à la collecte de données. Nous avons réalisé une EE (très tardive) et constaté que l'équipe devait reconstituer une série de données brutes de mise en œuvre pour permettre le suivi des résultats - un travail énorme. Si l'équipe avait procédé à une EE et à un développement des capacités plus tôt dans le programme, elle aurait été dans une position beaucoup plus forte et les coûts liés à la résolution des problèmes auraient été bien moindres.
Un autre cas est celui d'un projet complexe en faveur de la jeunesse et des peuples autochtones - sur le point d'être lancé - qui nécessitait une approche des indicateurs et des processus de suivi tenant compte des spécificités culturelles. Cette EE a été réalisée de manière très participative (peu coûteuse) afin d'inciter les participants à enregistrer des données de manière sûre et appropriée pour démontrer les niveaux de progrès et d'apprentissage qui permettraient d'améliorer la conception aux stades ultérieurs de la mise en œuvre. Le coût de l'investissement précoce dans l'EE a permis de récolter d'énormes bénéfices, tant pour les résultats du programme que pour l'évaluation.
J'apprécie également l'idée des nœuds décisionnels permettant de déterminer si une EE est nécessaire ou non. Merci encore pour tous les points soulevés.
RE: Evaluability Assessments: An invitation to reflect and discuss
Merci Amy et les autres pour ce fil de discussion intéressant.
Nous avons participé à de nombreuses évaluations de l'évaluabilité (EE) pour différentes organisations - institutions financières internationales, agences des Nations unies, ONG et secteur privé. Je suis d'accord avec Rick pour dire que c'est la complexité plutôt que la taille de l'investissement qui est la plus importante en termes de valeur de l'EE. Les institutions dont le mandat et les procédures opérationnelles sont clairs, et qui disposent souvent d'un menu d'indicateurs de performance et de lignes directrices, n'ont généralement pas besoin d'une EE.
Les évaluations les plus utiles auxquelles nous avons participé concernent des projets de développement complexes dont les résultats escomptés peuvent être émergents, avec des indicateurs de processus ainsi que des indicateurs de résultats et d'extrants. Les EE sont également utiles lorsque les capacités de suivi et d'évaluation de l'équipe de mise en œuvre sont limitées et qu'elle ne sait pas comment mesurer ce qui a été défini dans la conception du projet. Il s'agit alors de la valeur incrémentale de l'EE et de l'investissement dans le rapport coût-bénéfice - deux exemples récents sont présentés ci-dessous.
Dans le premier cas, il s'agissait d'un programme très complexe de gestion des ressources naturelles qui atteignait ses dernières années et qui couvrait les résultats politiques, institutionnels et physiques. L'équipe chargée de la mise en œuvre s'est rendu compte qu'elle ne savait pas comment mesurer tous les résultats finaux - elle avait supposé qu'une équipe d'évaluation d'impact produirait toutes les données requises, mais elle ne disposait pas du budget nécessaire à la collecte de données. Nous avons réalisé une EE (très tardive) et constaté que l'équipe devait reconstituer une série de données brutes de mise en œuvre pour permettre le suivi des résultats - un travail énorme. Si l'équipe avait procédé à une EE et à un développement des capacités plus tôt dans le programme, elle aurait été dans une position beaucoup plus forte et les coûts liés à la résolution des problèmes auraient été bien moindres.
Un autre cas est celui d'un projet complexe en faveur de la jeunesse et des peuples autochtones - sur le point d'être lancé - qui nécessitait une approche des indicateurs et des processus de suivi tenant compte des spécificités culturelles. Cette EE a été réalisée de manière très participative (peu coûteuse) afin d'inciter les participants à enregistrer des données de manière sûre et appropriée pour démontrer les niveaux de progrès et d'apprentissage qui permettraient d'améliorer la conception aux stades ultérieurs de la mise en œuvre. Le coût de l'investissement précoce dans l'EE a permis de récolter d'énormes bénéfices, tant pour les résultats du programme que pour l'évaluation.
J'apprécie également l'idée des nœuds décisionnels permettant de déterminer si une EE est nécessaire ou non. Merci encore pour tous les points soulevés.