Le principal objectif d'une synthèse d'évaluation est de promouvoir l'apprentissage et la réflexion collective. Une synthèse est un produit de connaissance et un moyen de consolidation et de partage des connaissances acquises afin de renforcer les retours sur l'évaluation et les boucles d'apprentissage.
La synthèse n'est pas nouvelle au sein de la communauté de l'évaluation, mais l'utilisation des synthèses d'évaluation s'est accrue au cours des dernières années. Cela est dû en partie à la reconnaissance qu'une bonne synthèse d'évaluation peut être un moyen puissant d'extraire des connaissances à partir des évaluations spécifiques – connaissances qui sont souvent sous-utilisées une fois le processus d'évaluation achevé.
De plus, la consolidation des connaissances (qu'elles soient techniques, opérationnelles ou institutionnelles) peut éclairer la prise de décision au niveau des institutions de manière rentable et influencer la programmation, les politiques et les stratégies. Elle peut aussi permettre de toucher un public plus large, au-delà des parties prenantes internes et contribuer aux connaissances mondiales sur un sujet donné.
Dans le monde de l'évaluation, le terme "synthèse" est employé de différentes manières et peut comprendre toute une gamme de produits - examens systématiques, méta-analyses, examens thématiques et évaluation rapide des preuves, pour n'en citer que quelques-uns. Il n'existe pas de définition universelle de la synthèse d'évaluation. Chaque organisation personnalise le concept selon ses propres nécessités et politiques.
Au sein du Bureau de l'évaluation de la FAO, le recours croissant aux synthèses d'évaluation est dû à l'augmentation du nombre d'évaluations effectuées et à la sous-utilisation des connaissances qui en découlent.
Pour encourager une utilisation plus systématique des synthèses d'évaluation, le Bureau de l'évaluation (OED) de l'Organisation des Nations Unies pour l'alimentation et l'agriculture (FAO) a récemment élaboré une note d'orientation (lien) dans laquelle il fournit une définition large de la synthèse d'évaluation, comme moyen de "saisir des connaissances et des enseignements tirés de l'évaluation sur un sujet particulier à partir des nombreuses évaluations existantes, à travers des preuves agrégées et réduites à l'essentiel afin de tirer des conclusions plus éclairées (et parfois des recommandations) sur un sujet ou une question spécifiques." [1]. Les synthèses d'évaluation diffèrent des synthèses de preuves plus larges, qui impliquent habituellement différentes sources de preuves, dont l'évaluation.
Les synthèses d'évaluation préparées par l'OED visent à synthétiser les résultats et les enseignements tirés des évaluations sur des sujets particulièrement pertinents pour les régions de la FAO. Grâce à ces synthèses, l'évaluation a été, pour la première fois en 2020, l'un des sujets inscrits au programme des Conférences régionales de la FAO, qui font partie des organes de gouvernance de la FAO et contribuent à l'élaboration du programme et du budget.
L'objectif principal des synthèses est de documenter systématiquement les modèles identifiés dans les évaluations afin d'éclairer la prise de décision régionale en matière de programmes et de priorités. Un objectif secondaire de ces synthèses est de renforcer l'utilisation des rapports d'évaluation de la FAO au niveau régional et de créer une demande d'évaluations axées sur les régions. Avec ces synthèses, l'OED touche également les Membres de la FAO qui auraient autrement un accès limité aux évaluations. À partir de cette expérience et de la préparation de notre note d'orientation, nous pouvons tirer quelques leçons et bonnes pratiques pour les futurs travaux de synthèses.
Une synthèse d'évaluation peut être une tâche complexe. Elle s'appuie habituellement sur de multiples sources de données et des méthodes mixtes d'analyses, de validation et de triangulation des preuves.
- La qualité des évaluations est fondamentale
Il va de soi que la qualité de la synthèse commence par l'accessibilité et la qualité des évaluations retenues (pertinence, preuves à jour, validité, fiabilité et distribution géographique des conclusions). Ici, une solide base de données des rapports d'évaluation, indiquant correctement les mots-clefs, facilite l'évaluation rapide des preuves disponibles pour toute synthèse. Un système d'évaluation a posteriori, lorsqu'il existe, aide également à repérer les bonnes évaluations. S'il n'existe pas, une première étape dans le processus de la synthèses sera d'évaluer la qualité de chacune des évaluations (méta-évaluation).
- Instruments facilitant le travail de synthèse
L'utilisation de la synthèse d'évaluation a été considérablement facilitée par les instruments innovants utilisés dans les sciences sociales pour analyser de vastes quantités de données qualitatives (comme Nvivo). Ils font également partie intégrante de toute stratégie visant à renforcer l'apprentissage à partir des évaluations.
- Triangulation et validation
Pour qu'une synthèse d'évaluation soit davantage que la somme de ses parties, elle doit être plus qu'une revue documentaire. Cela signifie qu'il peut être nécessaire de trianguler les données à partir de sources secondaires, de consulter des documents en dehors des rapports d'évaluations, de valider et compléter les données en réalisant des entretiens supplémentaires ou en recueillant de nouvelles données.
- Implication des parties prenantes
Comme pour toute évaluation, les parties prenantes devraient être consultées dès le début et tout au long du processus. Cela permettra de confirmer les priorités, de garantir des attentes réalistes et, lorsque les conclusions préliminaires consolidées seront disponibles, de valider et enrichir l'analyse. Leur implication sera également très utile en ce qui concerne la diffusion et le partage des résultats.
- Étude d'évaluabilité
Conformément aux recommandations de notre note d'orientation, une étude d'évaluabilité qui examine tous ces aspects devrait être effectuée avant de se lancer dans tout type d'intervention de ce genre. Il est particulièrement sage d'évaluer les arbitrages potentiels à faire, comme par exemple les délais et les coûts par rapport à l'utilité d'une synthèse d'évaluation ou d'autres types d'évaluation peut-être moins coûteuses.