Avant de partager mon point de vue, prenons l'exemple d'une expérience vécue. Avec une équipe de 4 évaluateurs, j'ai participé à l'évaluation d'un projet de cinq ans. En tant qu'évaluateurs, quelques collègues ont co-conçu l'évaluation et collecté les données. Nous avons uni nos forces lors de l'analyse et de l'élaboration du rapport et nous nous sommes retrouvés avec un gros rapport d'environ 180 pages. Je n'ai jamais connu d'adeptes de gros rapports, je ne le suis pas non plus. Pour être honnête, très peu de gens prendraient le temps de lire d'énormes rapports d'évaluation. Si un évaluateur est moins susceptible de lire (une fois finalisé) un rapport qu'il a produit, qui d'autre le lira ? Passons aux recommandations. Au stade du rapport, nous avons souligné les changements (ou l'absence de changements) ; nous avons signalé les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. Nous avons laissé le soin à l'équipe de mise en œuvre du projet, qui a fait appel à un responsable politique, de rédiger conjointement des recommandations exploitables. Comme vous pouvez le constater, nous avons intentionnellement évité la pratique établie selon laquelle les évaluateurs rédigent toujours des recommandations.
Notre rôle était de veiller à ce que toutes les conclusions ou résultats importants soient traduits en recommandations exploitables. Nous avons soutenu l'équipe de mise en œuvre du projet pour qu'elle reste aussi proche que possible des preuves et des idées de l'évaluation. Comment mettriez-vous à l'échelle un projet qui a produit ce changement (pour les résultats positifs) ? Que feriez-vous différemment pour atteindre le changement souhaité sur ce type d'indicateurs (domaines à améliorer) ? Attention, je n'utilise pas le mot "négatif" à côté des résultats. Comment vous y prendriez-vous pour obtenir les résultats souhaités ? Ces questions ont permis d'aboutir à des recommandations concrètes.
Nous avons veillé au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. En fin de compte, l'équipe était propriétaire des recommandations tandis que l'équipe d'évaluation était propriétaire des résultats empiriques. Les résultats de l'évaluation ont éclairé chaque recommandation. Dans l'ensemble, il s'agissait d'un rapport d'évaluation produit conjointement. C'est quelque chose que nous avons fait pour cette évaluation et qui s'est avéré efficace dans d'autres évaluations. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs.
Dans mon autre vie d'évaluateur, ces recommandations sont regroupées dans un suivi d'action - Action Tracker - (en MS Excel ou tout autre format) afin de contrôler au fil du temps la manière dont elles sont mises en œuvre. C'est la pratique en vigueur dans les institutions qui sont très attachées à la responsabilité et à l'apprentissage ou qui demandent des comptes à leur personnel et aux projets qui ne respectent pas ces normes. Pour chaque recommandation, il y a un calendrier, la personne ou le service responsable, le statut (mis en œuvre, non mis en œuvre ou en cours) et la voie à suivre . Notez que l'une des recommandations concerne le partage et l'utilisation des résultats de l'évaluation, ce qui nécessite un travail supplémentaire après la rédaction du rapport d'évaluation. Simplifier le rapport dans un langage et un format adaptés au public, inspiré des notes politiques de deux pages, une note d'évaluation ou une brochure d'évaluation basée sur des thèmes spécifiques qui ont émergé de l'évaluation. J'ai vu une telle pratique relativement utile pour deux raisons :
(i) les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques
(ii) l'équipe de mise en œuvre dispose d'une opportunité pour aligner ses voix et ses connaissances de l'évaluation sur les résultats de l'évaluation.
(iii) la fin d'une évaluation n'est pas, et ne devrait pas être la finalisation de l'évaluation, d'où la nécessité pour les institutions de suivre la manière dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, des prises de décision ou des politiques, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.
L'institutionnalisation de l'utilisation des données de l'évaluation prend du temps. Les changements structurels (au niveau supérieur) ne se produisent pas du jour au lendemain et ne surgissent pas du néant, mais il existe des étapes modestes mais sûres pour initier des changements à partir de la base. Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Sinon, ne supposez pas, utilisez les faits et la culture de l'organisation. Créez de petites alliances et relations en faveur de l'utilisation des données probantes, et intégrez progressivement des parties prenantes plus "influentes". Mettez en évidence les avantages des données probantes et leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.
Voilà ma contribition à cette discussion.
Je laisse la parole à mes collègues pour qu'ils apportent leurs contributions et leurs commentaires à cette importante discussion.
RE: Reporting and supporting evaluation use and influence
Cher Gordon et collègues,
Avant de partager mon point de vue, prenons l'exemple d'une expérience vécue. Avec une équipe de 4 évaluateurs, j'ai participé à l'évaluation d'un projet de cinq ans. En tant qu'évaluateurs, quelques collègues ont co-conçu l'évaluation et collecté les données. Nous avons uni nos forces lors de l'analyse et de l'élaboration du rapport et nous nous sommes retrouvés avec un gros rapport d'environ 180 pages. Je n'ai jamais connu d'adeptes de gros rapports, je ne le suis pas non plus. Pour être honnête, très peu de gens prendraient le temps de lire d'énormes rapports d'évaluation. Si un évaluateur est moins susceptible de lire (une fois finalisé) un rapport qu'il a produit, qui d'autre le lira ? Passons aux recommandations. Au stade du rapport, nous avons souligné les changements (ou l'absence de changements) ; nous avons signalé les résultats contre-intuitifs et les idées sur les indicateurs ou les variables d'intérêt. Nous avons laissé le soin à l'équipe de mise en œuvre du projet, qui a fait appel à un responsable politique, de rédiger conjointement des recommandations exploitables. Comme vous pouvez le constater, nous avons intentionnellement évité la pratique établie selon laquelle les évaluateurs rédigent toujours des recommandations.
Notre rôle était de veiller à ce que toutes les conclusions ou résultats importants soient traduits en recommandations exploitables. Nous avons soutenu l'équipe de mise en œuvre du projet pour qu'elle reste aussi proche que possible des preuves et des idées de l'évaluation. Comment mettriez-vous à l'échelle un projet qui a produit ce changement (pour les résultats positifs) ? Que feriez-vous différemment pour atteindre le changement souhaité sur ce type d'indicateurs (domaines à améliorer) ? Attention, je n'utilise pas le mot "négatif" à côté des résultats. Comment vous y prendriez-vous pour obtenir les résultats souhaités ? Ces questions ont permis d'aboutir à des recommandations concrètes.
Nous avons veillé au flux logique et aux liens empiriques de chaque recommandation avec les résultats de l'évaluation. En fin de compte, l'équipe était propriétaire des recommandations tandis que l'équipe d'évaluation était propriétaire des résultats empiriques. Les résultats de l'évaluation ont éclairé chaque recommandation. Dans l'ensemble, il s'agissait d'un rapport d'évaluation produit conjointement. C'est quelque chose que nous avons fait pour cette évaluation et qui s'est avéré efficace dans d'autres évaluations. Avec la participation des principales parties prenantes, les résultats de l'évaluation sont relativement faciles à vendre aux décideurs.
Dans mon autre vie d'évaluateur, ces recommandations sont regroupées dans un suivi d'action - Action Tracker - (en MS Excel ou tout autre format) afin de contrôler au fil du temps la manière dont elles sont mises en œuvre. C'est la pratique en vigueur dans les institutions qui sont très attachées à la responsabilité et à l'apprentissage ou qui demandent des comptes à leur personnel et aux projets qui ne respectent pas ces normes. Pour chaque recommandation, il y a un calendrier, la personne ou le service responsable, le statut (mis en œuvre, non mis en œuvre ou en cours) et la voie à suivre . Notez que l'une des recommandations concerne le partage et l'utilisation des résultats de l'évaluation, ce qui nécessite un travail supplémentaire après la rédaction du rapport d'évaluation. Simplifier le rapport dans un langage et un format adaptés au public, inspiré des notes politiques de deux pages, une note d'évaluation ou une brochure d'évaluation basée sur des thèmes spécifiques qui ont émergé de l'évaluation. J'ai vu une telle pratique relativement utile pour deux raisons :
(i) les évaluateurs ne sont pas les seuls acteurs, il y a d'autres parties prenantes qui maîtrisent mieux les réalités programmatiques
(ii) l'équipe de mise en œuvre dispose d'une opportunité pour aligner ses voix et ses connaissances de l'évaluation sur les résultats de l'évaluation.
(iii) la fin d'une évaluation n'est pas, et ne devrait pas être la finalisation de l'évaluation, d'où la nécessité pour les institutions de suivre la manière dont les recommandations de l'évaluation sont mises en œuvre pour des actions correctives, des prises de décision ou des politiques, l'utilisation des preuves de l'évaluation dans de nouvelles interventions, etc.
L'institutionnalisation de l'utilisation des données de l'évaluation prend du temps. Les changements structurels (au niveau supérieur) ne se produisent pas du jour au lendemain et ne surgissent pas du néant, mais il existe des étapes modestes mais sûres pour initier des changements à partir de la base. Si la direction générale soutient pleinement l'utilisation des données probantes, c'est une excellente occasion à ne pas manquer. Sinon, ne supposez pas, utilisez les faits et la culture de l'organisation. Créez de petites alliances et relations en faveur de l'utilisation des données probantes, et intégrez progressivement des parties prenantes plus "influentes". Mettez en évidence les avantages des données probantes et leur impact sur l'organisation chargée de la mise en œuvre, les décideurs et les communautés.
Voilà ma contribition à cette discussion.
Je laisse la parole à mes collègues pour qu'ils apportent leurs contributions et leurs commentaires à cette importante discussion.
Jean Providence