Merci de partager et de discuter de ce sujet très important. Plus nous discutons, plus nous comprenons comment aborder les problèmes qui affectent la pratique de l'évaluation. Pour commencer, le suivi et l'évaluation, sont-ils différents ou sont-ils les deux faces d'une même pièce ? Une combinaison parfaite en théorie, mais largement inadaptée en pratique, comme l'a posé Elias.
À l'aide d'une anecdote et de quelques points de vue qui suscitent la réflexion ou la controverse (j'espère que j'en obtiendrai plus d'un !), j'examinerai le suivi et l'évaluation, chacun à sa manière, et je terminerai par ma réflexion personnelle. Tout d'abord, j'encourage mes collègues à (continuer à) lire Ten Steps to a Results-Based Monitoring and Evaluation System de Kusek et Rist. Bien qu'il ait été publié en 2004, il éclaire toujours les liens entre le suivi et l'évaluation. Notez que je ne suis pas d'accord avec certaines propositions ou définitions faites dans ce manuel. Mais je vais les citer :
"L'évaluation est un complément au suivi en ce sens que lorsqu'un système de suivi envoie des signaux indiquant que les efforts ne sont pas sur la bonne voie (par exemple, que la population cible n'utilise pas les services, que les coûts s'accélèrent, qu'il y a une réelle résistance à l'adoption d'une innovation, etc.), alors de bonnes informations d'évaluation peuvent aider à clarifier les réalités et les tendances constatées par le système de suivi". p. 13
Le suivi comme fruit à peine cueilli. Anecdote. Un décideur me disait qu'il préférait les méthodes rapides et sales aux méthodes d'évaluation rigoureuses et qui prennent du temps. Pourquoi ? Pas étonnant qu'il soit facile et rapide de se faire une idée des activités mises en œuvre et des résultats qui en découlent. À propos, le suivi porte sur tout ce qui est sous le contrôle des exécutants (intrants, activités et résultats). Une discussion pour un autre jour. Avec le suivi, il s'agit généralement de vérifier la base de données (de nos jours, nous regardons des tableaux de bord visualisés) et d'être capable de dire où en est un projet dans sa mise en œuvre, sa progression vers les objectifs (produits/résultats ?).
L'évaluation : les fruits les plus mûrs : Dans un sens traditionnel, l'évaluation tente d'établir si un changement a eu lieu, ce qui a entraîné ce changement et comment. C'est le domaine de la causalité, de la corrélation, de l'association, etc. entre ce qui est fait et ce qui est finalement réalisé. L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un réaménagement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés. Nous nous demandons encore pourquoi les décideurs préfèrent les données de suivi ?
Ma compréhension et mon expérience du S&E, telles que développées dans Kusek et Risk (2004), sont qu'un suivi bien conçu et réalisé alimente l'évaluation et que les résultats de l'évaluation montrent (lorsque le projet est toujours en cours) ce qu'il faut suivre de près. Un bon suivi recueille et fournit, par exemple, des données chronologiques utiles pour l'évaluation. L'évaluation alimente également le suivi. À propos, je suis personnellement moins enthousiaste à l'égard des évaluations de fin de projet. Cela semble contraire à la mission d'un praticien de l'évaluation, n'est-ce pas ? Parce que les communautés cibles pour lesquelles le projet est conçu ne bénéficient pas de telles évaluations finales. Bien sûr, lorsqu'il s'agit d'un projet pilote, il peut être étendu et les groupes cibles initiaux peuvent être atteints avec un projet amélioré, grâce aux leçons tirées de l'évaluation. Croyez-moi, je réalise des évaluations finales, mais elles sont moins utiles que les évaluations développementales, formatives, en temps réel/rapides. Un sujet pour un autre jour !
Le suivi et l'évaluation forment un seul et même système, complémentaire et fécondant. Certains collègues des bureaux ou départements d'évaluation indépendants peuvent ne pas apprécier le lien et l'interdépendance du suivi et de l'évaluation. Tout simplement parce qu'ils sont étiquetés "indépendants". Cela me rappelle l'autre discussion sur l'indépendance, la neutralité et l'impartialité de l'évaluation. Oups, je n'ai pas pris part à cette discussion. Je suis d'accord pour dire que l'auto-évaluation et l'évaluation interne ne doivent pas être discréditées comme Elias l'a soutenu dans son blog. Les initiés de l'évaluation comprennent et connaissent le contexte que les évaluateurs externes et indépendants ont parfois du mal à saisir pour donner un sens aux résultats de l'évaluation. Mettons cela de côté pour l'instant.
L'année dernière, un forum en ligne (lien vers le rapport préliminaire) a été organisé, rassemblant des jeunes de différents pays du Sahel. Grâce à ce forum, les rêves, les aspirations, les défis, les opportunités, etc. des jeunes ont été discutés et partagés. Une énorme quantité de données a été collectée par le biais de la plateforme virtuelle. Ces conversations avec les jeunes (une activité qui a touché des centaines de jeunes) ont permis d'établir non seulement la preuve d'un changement dans le récit, mais aussi ce qui favorise ou entrave le changement et les aspirations des jeunes. Une correspondance parfaite entre le suivi (atteindre x nombre de jeunes) et l'évaluation (facteurs favorisant ou inhibant le changement souhaité). Lorsqu'il existe des données issues de ces conversations de jeunes, il est moins utile de procéder à une évaluation pour déterminer les facteurs associés au changement au Sahel. Il suffit d'analyser ces données, en élaborant bien sûr un guide analytique pour aider à ce processus. L'utilisation des données de suivi est d'une grande aide pour l'évaluation. Il est prouvé que les décideurs de haut niveau sont très favorables aux idées issues de l'analyse des discussions des jeunes. Imaginez qu'il faille attendre que le moment soit venu de procéder à une évaluation en bonne et due forme ! Revenons à notre sujet.
Dans l'ensemble, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles. Le suivi semble simple et facile à utiliser. Tant que l'évaluation sera considérée comme une tour d'ivoire, une sorte de science infuse, elle sera moins utile pour les décideurs. Le jargon de l'évaluation lui-même, n'est-il pas problématique, n'est-il pas un obstacle à l'utilisation des preuves évaluatives ? Mes hypothèses : Les décideurs aiment utiliser les preuves du suivi lorsqu'ils prennent des décisions comme des pompiers, sans se préoccuper des méthodes rapides et sales mais pratiques. Ils utilisent moins les preuves évaluatives car ils n'ont pas le temps d'attendre.
Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.
Merci à tous. Continuons à apprendre et à trouver les meilleurs moyens d'apporter les preuves de S&E là où elles sont le plus nécessaires : la prise de décision à tous les niveaux.
RE: Monitoring and evaluation: is this the perfect combination to meet the needs of decision-makers?
Cher Elias et chers collègues,
Merci de partager et de discuter de ce sujet très important. Plus nous discutons, plus nous comprenons comment aborder les problèmes qui affectent la pratique de l'évaluation. Pour commencer, le suivi et l'évaluation, sont-ils différents ou sont-ils les deux faces d'une même pièce ? Une combinaison parfaite en théorie, mais largement inadaptée en pratique, comme l'a posé Elias.
À l'aide d'une anecdote et de quelques points de vue qui suscitent la réflexion ou la controverse (j'espère que j'en obtiendrai plus d'un !), j'examinerai le suivi et l'évaluation, chacun à sa manière, et je terminerai par ma réflexion personnelle. Tout d'abord, j'encourage mes collègues à (continuer à) lire Ten Steps to a Results-Based Monitoring and Evaluation System de Kusek et Rist. Bien qu'il ait été publié en 2004, il éclaire toujours les liens entre le suivi et l'évaluation. Notez que je ne suis pas d'accord avec certaines propositions ou définitions faites dans ce manuel. Mais je vais les citer :
"L'évaluation est un complément au suivi en ce sens que lorsqu'un système de suivi envoie des signaux indiquant que les efforts ne sont pas sur la bonne voie (par exemple, que la population cible n'utilise pas les services, que les coûts s'accélèrent, qu'il y a une réelle résistance à l'adoption d'une innovation, etc.), alors de bonnes informations d'évaluation peuvent aider à clarifier les réalités et les tendances constatées par le système de suivi". p. 13
Le suivi comme fruit à peine cueilli. Anecdote. Un décideur me disait qu'il préférait les méthodes rapides et sales aux méthodes d'évaluation rigoureuses et qui prennent du temps. Pourquoi ? Pas étonnant qu'il soit facile et rapide de se faire une idée des activités mises en œuvre et des résultats qui en découlent. À propos, le suivi porte sur tout ce qui est sous le contrôle des exécutants (intrants, activités et résultats). Une discussion pour un autre jour. Avec le suivi, il s'agit généralement de vérifier la base de données (de nos jours, nous regardons des tableaux de bord visualisés) et d'être capable de dire où en est un projet dans sa mise en œuvre, sa progression vers les objectifs (produits/résultats ?).
L'évaluation : les fruits les plus mûrs : Dans un sens traditionnel, l'évaluation tente d'établir si un changement a eu lieu, ce qui a entraîné ce changement et comment. C'est le domaine de la causalité, de la corrélation, de l'association, etc. entre ce qui est fait et ce qui est finalement réalisé. L'évaluation prend du temps et ses résultats prennent du temps. Peu de décideurs ont le temps de les attendre. En un rien de temps, leur mandat arrive à son terme, ou il y a un réaménagement du gouvernement. Certains ne sont peut-être plus en fonction au moment où les résultats de l'évaluation sont publiés. Nous nous demandons encore pourquoi les décideurs préfèrent les données de suivi ?
Ma compréhension et mon expérience du S&E, telles que développées dans Kusek et Risk (2004), sont qu'un suivi bien conçu et réalisé alimente l'évaluation et que les résultats de l'évaluation montrent (lorsque le projet est toujours en cours) ce qu'il faut suivre de près. Un bon suivi recueille et fournit, par exemple, des données chronologiques utiles pour l'évaluation. L'évaluation alimente également le suivi. À propos, je suis personnellement moins enthousiaste à l'égard des évaluations de fin de projet. Cela semble contraire à la mission d'un praticien de l'évaluation, n'est-ce pas ? Parce que les communautés cibles pour lesquelles le projet est conçu ne bénéficient pas de telles évaluations finales. Bien sûr, lorsqu'il s'agit d'un projet pilote, il peut être étendu et les groupes cibles initiaux peuvent être atteints avec un projet amélioré, grâce aux leçons tirées de l'évaluation. Croyez-moi, je réalise des évaluations finales, mais elles sont moins utiles que les évaluations développementales, formatives, en temps réel/rapides. Un sujet pour un autre jour !
Le suivi et l'évaluation forment un seul et même système, complémentaire et fécondant. Certains collègues des bureaux ou départements d'évaluation indépendants peuvent ne pas apprécier le lien et l'interdépendance du suivi et de l'évaluation. Tout simplement parce qu'ils sont étiquetés "indépendants". Cela me rappelle l'autre discussion sur l'indépendance, la neutralité et l'impartialité de l'évaluation. Oups, je n'ai pas pris part à cette discussion. Je suis d'accord pour dire que l'auto-évaluation et l'évaluation interne ne doivent pas être discréditées comme Elias l'a soutenu dans son blog. Les initiés de l'évaluation comprennent et connaissent le contexte que les évaluateurs externes et indépendants ont parfois du mal à saisir pour donner un sens aux résultats de l'évaluation. Mettons cela de côté pour l'instant.
L'année dernière, un forum en ligne (lien vers le rapport préliminaire) a été organisé, rassemblant des jeunes de différents pays du Sahel. Grâce à ce forum, les rêves, les aspirations, les défis, les opportunités, etc. des jeunes ont été discutés et partagés. Une énorme quantité de données a été collectée par le biais de la plateforme virtuelle. Ces conversations avec les jeunes (une activité qui a touché des centaines de jeunes) ont permis d'établir non seulement la preuve d'un changement dans le récit, mais aussi ce qui favorise ou entrave le changement et les aspirations des jeunes. Une correspondance parfaite entre le suivi (atteindre x nombre de jeunes) et l'évaluation (facteurs favorisant ou inhibant le changement souhaité). Lorsqu'il existe des données issues de ces conversations de jeunes, il est moins utile de procéder à une évaluation pour déterminer les facteurs associés au changement au Sahel. Il suffit d'analyser ces données, en élaborant bien sûr un guide analytique pour aider à ce processus. L'utilisation des données de suivi est d'une grande aide pour l'évaluation. Il est prouvé que les décideurs de haut niveau sont très favorables aux idées issues de l'analyse des discussions des jeunes. Imaginez qu'il faille attendre que le moment soit venu de procéder à une évaluation en bonne et due forme ! Revenons à notre sujet.
Dans l'ensemble, les décideurs sont prêts à utiliser les données du suivi car elles sont facilement disponibles. Le suivi semble simple et facile à utiliser. Tant que l'évaluation sera considérée comme une tour d'ivoire, une sorte de science infuse, elle sera moins utile pour les décideurs. Le jargon de l'évaluation lui-même, n'est-il pas problématique, n'est-il pas un obstacle à l'utilisation des preuves évaluatives ? Mes hypothèses : Les décideurs aiment utiliser les preuves du suivi lorsqu'ils prennent des décisions comme des pompiers, sans se préoccuper des méthodes rapides et sales mais pratiques. Ils utilisent moins les preuves évaluatives car ils n'ont pas le temps d'attendre.
Un appel aux actions innovantes : des évaluations en temps réel, rapides mais rigoureuses, si nous voulons vraiment que les preuves évaluatives soient utilisées par les décideurs.
Merci à tous. Continuons à apprendre et à trouver les meilleurs moyens d'apporter les preuves de S&E là où elles sont le plus nécessaires : la prise de décision à tous les niveaux.
Jean Providence Nzabonimpa