Merci beaucoup pour votre participation active et votre engagement dans cette discussion. Quelques mots sur les dernières contributions :
Nea-Mari, merci pour les informations et les liens sur le suivi et l'évaluation des ODD au niveau sous-national en Finlande. Des exemples inspirants pour d'autres pays et villes ! Merci Esosa d'avoir souligné le rôle essentiel de l'évaluation dans les programmes de développement fondés sur des preuves. Et Mark, oui, reconnaître les limites de nos études/évaluations est toujours une bonne pratique, merci d'avoir souligné ce point.
Cette discussion se termine pour l'instant, mais il y aura d'autres occasions d'échanger des idées et des connaissances sur le soutien aux progrès vers les ODD grâce à l'évaluation.
Je vous souhaite le meilleur et je vous invite à rester à l'écoute des prochaines mises à jour.
Merci pour votre contribution à cette discussion animée.
Voici mes commentaires sur quelques points, sans chercher à épuiser la conversation (ni à la résumer entièrement) mais dans l'espoir de susciter quelques réflexions supplémentaires.
1. Notre attention devrait aller au-delà de la mesure de la contribution ou de la progression vers les ODD: il existe de nombreuses études/évaluations et indicateurs dédiés (notamment les indicateurs approchés) qui permettent également de comprendre les progrès de développement. Les ODD ne sont pas isolés et il peut exister différentes voies et manières menant à la même direction. Dorothy et John Akwetey ont abordé ce sujet en particulier, mais il est présent dans différentes contributions. Ils ont également souligné l'importance des évaluations aux niveaux national, institutionnel et infranational, au-delà des évaluations des ODD à grande échelle.
L'approche adoptée par l'étude des preuves d'évaluation partagée par Mark Engelbert, concernant principalement des évaluations de l'impact, semble évoquer ce dernier point.
Le travail mené par la coalition Global SDG Synthesis Coalition relève du même ordre d'idées. La synthèse peut être utilisée soit comme alternative à une évaluation centrée sur les ODD soit comme composante d'une étude plus large. Les synthèses suivent une approche systématique et transparente pour identifier, rassembler et apprécier la qualité des évaluations individuelles, en synthétisant ensuite les conclusions et les enseignements tirés de l'ensemble des preuves d'évaluation. L'approche comprend des cartes des manques de preuves et d'autres outils, notamment un processus rigoureux (et le cadre correspondant) permettant d'inclure ou d'exclure des études.
2. Les difficultés rencontrées dans l'évaluation des ODD par la plupart des pays et des acteurs de développement et partagées sous différents angles par Ram Khanal Lovemore Mupeta et Hadera Gebru concernent: les ressources limitées, l'insuffisance des données, le manque de techniques d'évaluation appropriées et la complexité des cibles interconnectées. À la lumière de ces défis, nous devrions envisager/rechercher d'autres approches (la synthèse en est une) plutôt que de nous lancer dans des évaluations potentiellement décourageantes, ii) commencer modestement et iii) évaluer de manière judicieuse les études qui peuvent être utiles. Impliquer des professionnels basés dans le pays (évaluateurs et chargés de mise en œuvre dans différents secteurs) dans le processus pourrait contribuer à une meilleure sensibilisation et renforcer la capacité d'évaluation.
Malheureusement, des troubles et défis politiques majeurs peuvent aboutir à un recul complet de toute tentative d'évaluation des progrès vers les ODD, comme l'a montré la situation en Éthiopie où les crises post-covid et la guerre civile ont miné les progrès de développement.
3. Le niveau infranational (en particulier local) est un autre défi reconnu partagé par beaucoup. Nea-Mari, je serais curieuse de connaître quelques exemples de ce que la Finlande a réalisé au niveau local – quels types de solutions numériques avez-vous adoptés pour le suivi et évaluation des progrès accomplis vers les ODD? Je suis également positivement surprise par l'influence des évaluations dans les élections parlementaires et dans la planification du nouveau programme gouvernemental. Quels seraient, selon vous, les éléments clés qui donnent cette force aux évaluations en Finlande?
4. Exemples de rapports: Pelagia Monou, Fabandian Fofana, puis-je vous demander si les évaluations auxquelles vous avez participé sont publiques et s'il vous est possible de partager le lien avec nous? Pelagia, avez-vous été en mesure d'aller au-delà du nombre de projets et du budget pour puiser dans les contributions ou les résultats? Fabandian, avez-vous mesuré les contributions aux ODD au niveau local? Qui était impliqué et de quelle manière?
5. Dernier point et non des moindres(mais qui reste secondaire), voici un commentaire sur la conclusion du rapport 3ie (International Initiative for Impact Evaluation) partagé par Mark, selon lequel le travail d'évaluation sur les ODD relatifs à la «planète» (ODD 6, 12 et 15) a été laissé de côté. Le rapport note que très peu de recherches d'évaluation (de l'impact) ont été trouvées concernant les ODD 12 (consommation et production durables), 14 (vie aquatique) et 15 (vie terrestre). Même si j'ai ma propre hypothèse et explication concernant ce résultat, je me demande si Stefano D'Errico, Ram Khanal et d'autres collègues disposant d'une expertise dans le secteur de l'environnement souhaitent donner leur avis pour en trouver les raisons? 😊
Il reste encore beaucoup de chemin à parcourir: Chris, Olivier et Lal nous rappellent que le cadre post-Programme à l'horizon 2030 approche à grands pas!
Chers collègues, et merci à Jean d'avoir provoqué ce débat.
Je vous prie de bien vouloir m'excuser si j'apporte une goutte de contenu académique à la discussion, en espérant que nous pourrons l'élargir un peu.
Que sont les méthodes mixtes après tout ? Je pense que le débat quanti x quali est assez réductionniste ; et honnêtement, après toutes ces décennies, je n'arrive pas à croire que nous discutions encore de la question de savoir si les essais contrôlés randomisés (RCT par l'acronyme anglais) sont l'étalon-or.
J'aimerais évoquer une approche qui a retenu mon attention et qui a été présentée par le professeur Paul Shaffer de l'université de Trent (Canada). Son approche est axée sur les méthodes mixtes pour l'évaluation de l'impact, mais je crois comprendre qu'elle peut être extrapolée à d'autres types d'études, telles que l'évaluation des résultats. Ce qui me plaît dans sa proposition, c'est qu'elle dépasse et approfondit le débat quanti + quali.
Selon lui, les catégories censées différencier les approches quanti x quali s'effondrent. Par exemple, (i) les données qualitatives sont souvent quantifiées ; (ii) les grandes études qualitatives peuvent permettre la généralisation (alors que l'échelle/généralisation serait une caractéristique des études quantitatives), et (iii) les inférences par induction et déduction sont presque toujours présentes.
À la lumière de ce qui précède, que sont les "méthodes mixtes" ?
L'expression "méthodes mixtes" signifie que l'on combine des approches qui peuvent apporter de la robustesse à votre conception, des perspectives/angles différents pour examiner le même objet. En fonction des questions auxquelles vous souhaitez répondre/de ce que vous voulez tester, les "méthodes mixtes" pour l'évaluation d'impact peuvent signifier la combinaison de deux méthodes quantitatives ou plus. Par conséquent, différentes méthodes qualitatives peuvent être utilisées pour améliorer la robustesse d'une évaluation ou d'une recherche, ce que l'on appelle également des "méthodes mixtes".
Et puis, en allant un peu plus loin, ne pourrions-nous pas considérer que le mélange des approches des "colonisateurs" avec celles des "indigènes" constitue également des "méthodes mixtes" ?
Merci pour toutes les réponses et les contributions intéressantes et pertinentes.
Ce qui m'a poussé à écrire ce message, c'est l'impression que la plupart des leçons apprises (ou einsegnements tirés) identifiées dans les rapports d'évaluation ne sont pas des leçons ou sont mal formulées et rarement utilisées ; en d'autres termes, les évaluateurs génèrent (mais le faisons-nous ?) des connaissances qui ne servent pas vraiment à grand-chose. J'ai également eu l'impression que derrière ce problème se cache l'absence d'une compréhension commune du concept et des processus permettant d'identifier et de saisir ces types de preuves spécifiques.
Alors, comment faire pour identifier les leçons apprises réelles et utiles ?
Je vais essayer de résumer les points clés soulevés :
1. La diversité des réponses montre clairement qu'en tant qu'évaluateurs, nous n'avons toujours pas une compréhension commune de ce que sont les leçons apprises. Souvent, les leçons semblent être là uniquement pour cocher une case dans les exigences des rapports.
2. Quels sont les éléments clés des enseignements ? Les enseignements doivent :
être formulées sur la base de l'expérience et des preuves, et sur le changement qui affecte la vie des gens ;
être observables (ou avoir été observées) ;
refléter le point de vue de différentes parties prenantes (donc être observées sous différents angles) ;
refléter les défis auxquels sont confrontées les parties prenantes dans différentes positions (c'est-à-dire que les donateurs peuvent également avoir quelque chose à apprendre !)
être quelque chose de nouveau [qui représente] une connaissance précieuse et/ou une façon de faire les choses ;
refléter ce qui s'est bien passé et aussi ce qui ne s'est pas bien passé ;
être capable d'améliorer l'intervention ;
être spécifiques et exploitables (tout en étant adaptables au contexte) afin de pouvoir être mis en pratique.
J'aime beaucoup l'approche d'ALNAP qui synthétise les leçons à tirer. De mon point de vue, une leçon n'est vraiment apprise que si vous la faites différemment la prochaine fois. Sinon, elle n'est pas encore apprise ! C'est pourquoi j'ai tendance à appeler simplement "leçons" celles que nous identifions lors des évaluations.
3. Comment collecter les leçons apprises ? Le processus de collecte doit
être systématique et résulter de consultations avec différentes parties prenantes ;
inclure quoi (contenu), pour qui (parties prenantes) et comment (contexte !!);
être clair sur le public cible (par exemple, le personnel opérationnel, le personnel impliqué dans les opérations stratégiques, les décideurs politiques, etc.);
prendre en compte la dynamique du pouvoir (donateurs, responsables de la mise en œuvre, bénéficiaires, etc ;)
envisager les conséquences pratiques (par exemple, est-il possible de s'adapter ?);
inclure des systèmes opérationnels/mécanismes de retour d'information pour garantir que les conclusions seront discutées et mises en œuvre lorsque cela sera convenu ;
équilibrer la rigueur et l'aspect pratique.
4. Ma dernière question était la suivante : comment pouvons-nous (essayer de) garantir que les leçons seront réellement "apprises" - c'est-à-dire utilisées, mises en pratique ? (J'utilise ici le concept intéressant d'ALNAP, selon lequel les leçons sont formulées pour être apprises). Voici quelques conseils partagés :
Associer des stratégies de mise en pratique, y compris des incitations ;
les leçons devraient informer ou être alignées sur les recommandations ;
les recommandations doivent être reflétées dans la réponse de la direction ; et
la direction doit être responsable de la mise en œuvre.
Il est bon de voir que d'autres organisations et collègues sont intéressés et que des ressources sont disponibles. J'espère que cela pourra nous aider à améliorer nos pratiques. J'ai compilé ci-dessous les approches et outils recommandés, ainsi que les exemples et ressources partagés.
Merci !
Bien à vous,
Emilia
***
Approches ou outils recommandés comme efficaces pour saisir et traiter les leçons apprises (la plupart en anglais) :
La récolte des effets ("Outcome Harvesting" - OH),
les examens après action ("After-Action Reviews" - AAR) et/ou
Analyse des perspectives ("Perspective Analysis" - PA)
Document d'étude du bureau d'évaluation du PNUE : "Lessons Learned from Evaluation : A Platform for Sharing Knowledge" co-écrit par Catrina (2007) (lien ici)
Le rapport d'évaluation du "Projet de prestation de services participatifs de la Tunisie pour la réintégration" préparé pour l'Union Tunisienne de Solidarité Sociale avec un bon exemple de capture des leçons apprises (en français) : booklet utss.pdf (evalforward.org) . Vous pouvez trouver les leçons apprises à partir de la page 38.
ABC de la COVID-19. Prevención, Vigilancia y Atención de la Salud en las Comunidades Indígenas y Afromexicanas. (Bertha Dimas Huacuz. INPI. 2020), accessible sur la page web de l'Institut National des Peuples Indigènes (INPI-MX) : https://lnkd.in/gpv3wgu (couverture du livre)/ https://lnkd.in/gG5wpVE (texte du livre). Consolide les leçons tirées de la pandémie pour le développement des régions et des municipalités, compilées à partir de diverses initiatives de développement communautaire au Mexique - ressource en espagnol.
Une étude qualitative sur trois thèmes différents après le tremblement de terre de 2015 au Népal, menée par World Vision International au Népal en collaboration avec 7 agences internationales différentes travaillant pour la réponse au tremblement de terre. DEC Collective Learning Initiative Report, Nepal.pdf
Merci beaucoup pour vos commentaires intéressants, vos idées et vos ressources !
En parcourant tous les commentaires et ressources fournis, j'ai une autre question :
En supposant que (i) nous capturons des leçons réelles/réelles, (ii) basées sur l'expérience/les preuves, (iii) exploitables, qu'elles (iv) reflètent une diversité de perspectives et (v) sont applicables dans d'autres contextes (certaines des caractéristiques des leçons que je retiens de vos contributions), comment pouvons-nous (essayer de) garantir qu'elles seront réellement "apprises" ? (J'utilise ici le concept intéressant d'ALNAP évoqué par Jennifer Doherty, selon lequel les leçons sont formulées POUR ÊTRE apprises).
En d'autres termes, quelles sont les stratégies qui fonctionnent pour soutenir la mise en pratique des leçons ?
J'avais rédigé ce message il y a quelques jours, je n'ai pas pu l'envoyer, mais je pense que le moment - après que notre collègue a demandé des expériences concrètes - est très approprié pour le partager. Voici donc quelques leçons tirées de mon expérience personnelle.
Ces leçons, je les ai apprises au cours de 4 mois de travail intensif dans le nord de l'Ouganda avec des communautés de réfugiés (principalement du Sud-Soudan) pour développer et administrer une enquête - il y a quelques années, alors que je travaillais comme consultant indépendant.
[Pour situer le contexte, ce processus a impliqué la communauté dans toutes les étapes de l'enquête : conception/pilotage, traduction en 4 langues (par des membres de la communauté), sélection et formation d'enquêteurs non professionnels (membres de la communauté), application de l'enquête et retour d'information/analyse participative].
1. Vous avez aussi une culture, la vôtre est aussi 'une culture'. Aux yeux de l'autre, vous êtes l'étrange. Je me suis particulièrement " découverte " en tant que latino-américaine au cours de ces mois en Ouganda (remarque : les Brésiliens ne s'identifient pas vraiment aux stéréotypes latino-américains ni à l'étiquette de " latino " - même si nous sommes perçus comme tels et partageons en réalité beaucoup en termes de culture avec tous les autres Latino-américains. Notez également que, même si je suis latino-américaine et que j'ai vécu la plus grande partie de ma vie au Brésil, je suis une femme blanche de la classe moyenne, qui a eu accès à une éducation de niveau supérieur et dont la culture est très proche de celle de l'Europe occidentale - c'est de là que je parle et de la façon dont je suis perçue).
2. Soyez prêt à reconnaître que vous avez fait une erreur et à agir au cas où quelque chose se produirait. Dans une situation, j'ai ressenti le besoin d'aller chez chacun des membres de mon équipe (environ 12 au total) et d'avoir une conversation individuelle. Cela s'est passé après une réunion très difficile, au milieu de beaucoup de stress et de contraintes de temps. Tout s'est arrangé, mais il a fallu beaucoup d'énergie pour s'assurer que tout était sur la bonne voie et que la confiance (construite au fil des semaines de travail et de dévouement intensif) n'était pas brisée.
3. Soyez ouvert (soyez curieux !), soyez patient, et toujours respectueux. Faites des contrôles de réalité. J'ai eu des discussions avec mon chauffeur qui m'ont aidé à comprendre la culture dans laquelle j'étais immergée. Et si nécessaire, prenez un jour ou deux de congé pour respirer au milieu de situations culturellement difficiles - et parlez à des collègues expérimentés. Mieux vaut prendre un peu de recul pendant quelques jours que de devoir réparer les choses plus tard.
4. Et une leçon tirée d'un événement qui s'est très bien passé : soyez attentif et respectueux des codes vestimentaires. Les femmes étaient disposées à me recevoir dans leur maison et à me parler parce que je m'habillais de manière respectueuse - elles m'ont littéralement dit qu'elles appréciaient que je ne porte pas de pantalon, mais une jupe plus longue et un chemisier modeste. (Je crois que j'ai pu, grâce à cette attitude et à d'autres, faire preuve de respect et instaurer la confiance. Après une discussion de groupe, des femmes ont chanté pour moi et m'ont " baptisée " d'un nom dans leur langue).
J'espère que cela ajoute un peu de concret à la discussion.
Emilia Bretan
Evaluation Manager FAOChers collègues,
Merci beaucoup pour votre participation active et votre engagement dans cette discussion. Quelques mots sur les dernières contributions :
Nea-Mari, merci pour les informations et les liens sur le suivi et l'évaluation des ODD au niveau sous-national en Finlande. Des exemples inspirants pour d'autres pays et villes ! Merci Esosa d'avoir souligné le rôle essentiel de l'évaluation dans les programmes de développement fondés sur des preuves. Et Mark, oui, reconnaître les limites de nos études/évaluations est toujours une bonne pratique, merci d'avoir souligné ce point.
Cette discussion se termine pour l'instant, mais il y aura d'autres occasions d'échanger des idées et des connaissances sur le soutien aux progrès vers les ODD grâce à l'évaluation.
Je vous souhaite le meilleur et je vous invite à rester à l'écoute des prochaines mises à jour.
Emilia
Emilia Bretan
Evaluation Manager FAOChers collègues,
Merci pour votre contribution à cette discussion animée.
Voici mes commentaires sur quelques points, sans chercher à épuiser la conversation (ni à la résumer entièrement) mais dans l'espoir de susciter quelques réflexions supplémentaires.
1. Notre attention devrait aller au-delà de la mesure de la contribution ou de la progression vers les ODD: il existe de nombreuses études/évaluations et indicateurs dédiés (notamment les indicateurs approchés) qui permettent également de comprendre les progrès de développement. Les ODD ne sont pas isolés et il peut exister différentes voies et manières menant à la même direction. Dorothy et John Akwetey ont abordé ce sujet en particulier, mais il est présent dans différentes contributions. Ils ont également souligné l'importance des évaluations aux niveaux national, institutionnel et infranational, au-delà des évaluations des ODD à grande échelle.
L'approche adoptée par l'étude des preuves d'évaluation partagée par Mark Engelbert, concernant principalement des évaluations de l'impact, semble évoquer ce dernier point.
Le travail mené par la coalition Global SDG Synthesis Coalition relève du même ordre d'idées. La synthèse peut être utilisée soit comme alternative à une évaluation centrée sur les ODD soit comme composante d'une étude plus large. Les synthèses suivent une approche systématique et transparente pour identifier, rassembler et apprécier la qualité des évaluations individuelles, en synthétisant ensuite les conclusions et les enseignements tirés de l'ensemble des preuves d'évaluation. L'approche comprend des cartes des manques de preuves et d'autres outils, notamment un processus rigoureux (et le cadre correspondant) permettant d'inclure ou d'exclure des études.
2. Les difficultés rencontrées dans l'évaluation des ODD par la plupart des pays et des acteurs de développement et partagées sous différents angles par Ram Khanal Lovemore Mupeta et Hadera Gebru concernent: les ressources limitées, l'insuffisance des données, le manque de techniques d'évaluation appropriées et la complexité des cibles interconnectées. À la lumière de ces défis, nous devrions envisager/rechercher d'autres approches (la synthèse en est une) plutôt que de nous lancer dans des évaluations potentiellement décourageantes, ii) commencer modestement et iii) évaluer de manière judicieuse les études qui peuvent être utiles. Impliquer des professionnels basés dans le pays (évaluateurs et chargés de mise en œuvre dans différents secteurs) dans le processus pourrait contribuer à une meilleure sensibilisation et renforcer la capacité d'évaluation.
Malheureusement, des troubles et défis politiques majeurs peuvent aboutir à un recul complet de toute tentative d'évaluation des progrès vers les ODD, comme l'a montré la situation en Éthiopie où les crises post-covid et la guerre civile ont miné les progrès de développement.
3. Le niveau infranational (en particulier local) est un autre défi reconnu partagé par beaucoup. Nea-Mari, je serais curieuse de connaître quelques exemples de ce que la Finlande a réalisé au niveau local – quels types de solutions numériques avez-vous adoptés pour le suivi et évaluation des progrès accomplis vers les ODD? Je suis également positivement surprise par l'influence des évaluations dans les élections parlementaires et dans la planification du nouveau programme gouvernemental. Quels seraient, selon vous, les éléments clés qui donnent cette force aux évaluations en Finlande?
4. Exemples de rapports: Pelagia Monou, Fabandian Fofana, puis-je vous demander si les évaluations auxquelles vous avez participé sont publiques et s'il vous est possible de partager le lien avec nous? Pelagia, avez-vous été en mesure d'aller au-delà du nombre de projets et du budget pour puiser dans les contributions ou les résultats? Fabandian, avez-vous mesuré les contributions aux ODD au niveau local? Qui était impliqué et de quelle manière?
5. Dernier point et non des moindres (mais qui reste secondaire), voici un commentaire sur la conclusion du rapport 3ie (International Initiative for Impact Evaluation) partagé par Mark, selon lequel le travail d'évaluation sur les ODD relatifs à la «planète» (ODD 6, 12 et 15) a été laissé de côté. Le rapport note que très peu de recherches d'évaluation (de l'impact) ont été trouvées concernant les ODD 12 (consommation et production durables), 14 (vie aquatique) et 15 (vie terrestre). Même si j'ai ma propre hypothèse et explication concernant ce résultat, je me demande si Stefano D'Errico, Ram Khanal et d'autres collègues disposant d'une expertise dans le secteur de l'environnement souhaitent donner leur avis pour en trouver les raisons? 😊
Il reste encore beaucoup de chemin à parcourir: Chris, Olivier et Lal nous rappellent que le cadre post-Programme à l'horizon 2030 approche à grands pas!
Merci à tous pour vos contributions!!
Très sincèrement
Emilia