Merci à tous pour vos réflexions et contributions. La discussion a permis de rassembler différentes expériences/opinions, mais la plupart semblent s'accorder sur les principes fondamentaux de la question.
Avant d'aller plus loin, je vais expliquer mon point de vue :
Même dans les expériences de laboratoire où toutes les conditions sont contrôlées, les scientifiques s'autorisent un certain niveau d'erreur, mais ils essaient de le rendre aussi faible que possible. Par conséquent, je ne parle pas d'une certitude à 100% des résultats avec des interventions sur l'homme (être compliqué).
Ce que je retiens de cette discussion, c'est que nous nous efforçons tous d'être "objectifs et inclusifs" autant que possible. Ce dernier point exprime notre "intervalle de confiance" et nos "degrés de liberté".
La discussion a permis d'aborder un large éventail de sujets relatifs à l'indépendance/impartialité/neutralité de l'évaluation. De la discussion des concepts à la suggestion de méthodologies de travail, les participants ont enrichi la discussion.
Les différentes contributions ont mis en évidence des facteurs importants qui peuvent influencer l'indépendance, la neutralité et l'impartialité des évaluateurs. M. Jean de Dieu Bizimana et M. Abubakar Muhammad Moki ont soulevé la question de l'influence du commissaire d'évaluation et des termes de références sur ces concepts. Le Dr Emile HOUNGBO évoque la dépendance financière de l'évaluateur, surtout si l'organisation/équipe qui finance l'évaluation est également responsable de la mise en œuvre de l'intervention. M. Richard Tinsley constate que même lorsque des fonds sont disponibles, les évaluateurs peuvent manquer de neutralité afin de s'assurer de futures missions. M. Tinsley donne l'exemple d'organisations d'agriculteurs qui ne jouent pas le rôle prévu mais qui sont tout de même poussées sur les petits exploitants.Du point de vue de M. Lasha Khonelidze, l'"ouverture d'esprit" de l'évaluateur est importante pour apporter divers points de vue, mais il est tout aussi important de s'assurer que l'évaluation est utile aux utilisateurs finaux (ceux-ci doivent être définis dans les TDR).
M. Sébastien Galéa suggère de travailler sur des normes/standards au niveau de la gestion du programme sur le terrain. Il souligne également l'importance de l'échange d'informations et d'expériences entre pairs à travers le monde (ex EvalForward). Il a gracieusement partagé un document dont le titre indique clairement que l'objectif de l'évaluation est d'obtenir de meilleurs résultats à l'avenir, soit par des interventions ultérieures, soit par des ajustements de l'intervention évaluée. Le document explique également l'indépendance/ impartialité du point de vue de la banque asiatique de développement et comment cette organisation a travaillé sur ces principes.À mon avis, le document de Weiss partagé par Mme Umi Hanik est venu en complément. Le document de Weiss analyse le développement, la mise en œuvre et l'évaluation des programmes. L'idée principale est que les programmes sont décidés en fonction d'un environnement politique et comme l'évaluation est censée guider la prise de décision, elle partage également la pression des participants politiques au programme. Ainsi, pour un participant au programme, l'acceptation du public est plus importante que la pertinence du programme. Par conséquent, je pense que c'est là que l'indépendance/ impartialité/ neutralité de l'évaluation entre en jeu.
Abubakar Muhammad Moki a ajouté que certaines entreprises recrutent des évaluateurs qu'elles connaissent, ce qui est confirmé par Mme Isha Miranda qui a ajouté que cela a un impact sur la qualité de l'évaluation, entraînant une diminution de la qualité des rapports d'évaluation (argument fondé sur des preuves) :). M. Olivier Cossee a ajouté que les évaluateurs recrutés devraient être "raisonnablement neutres". Ceci, je crois, met la pression sur le commissaire d'évaluation pour vérifier/ contrôler les évaluateurs "raisonnablement" neutres et introduit une autre variable : dans quelle mesure l'évaluateur est-il raisonnablement neutre ? (peut-on se référer aux études de comportement ?). Pour Mme Siva Ferretti, les choix individuels de l'évaluateur sont influencés par sa culture et il est donc difficile d'être "vraiment" inclusif/neutre. Le podcast partagé par Mme Una Carmel Murray donne un exemple d'inclusion de tous les participants afin de diluer la subjectivité du chercheur. De même, M. Abado Ekpo suggère de prendre le temps d'intégrer la logique des différents acteurs et de les comprendre afin de mener une évaluation objective. En outre, M. Steven Lam et M. Richard Tinsley discutent de l'importance de la méthodologie pour susciter l'intérêt de tous les participants.
M. Lal Manavado résume la réflexion en termes de responsabilité envers les fournisseurs de fonds, les politiciens ou les groupes sociaux. Mon point de vue est d'être responsable des objectifs du projet. Ont-ils été atteints ou non ? si non, pourquoi ? si atteints, pour qui ?
M. Khalid El Harizi a ajouté que la disponibilité des données/informations au début de l'évaluation ainsi que la capacité des évaluateurs à synthétiser les données sont importantes. Il convient toutefois de noter que, même lorsque les données sont disponibles, elles peuvent ne pas être facilement accessibles aux évaluateurs. Ceci est confirmé par M. Ram Chandra Khanal qui a soulevé la question du manque de temps et de l'accès limité à l'information sur les parties prenantes, ce qui aura un impact sur la collecte des données.
Cette discussion a clairement soulevé la question de la définition des termes. Comme indiqué précédemment, les utilisateurs finaux doivent être définis. Mme Svetlana Negroustoueva a également demandé des exemples pour contextualiser le terme indépendance. En outre, M. Thierno Diouf a soulevé l'importance de définir tous les termes discutés du point de vue de toutes les parties prenantes et des évaluateurs. Ces définitions devraient être claires dans les guides, les standards et les normes.
M. Diagne Bassirou parle de la perte de qualité et de profondeur de l'analyse avec "trop" d'objectivité puisque l'évaluateur peut ne pas connaître les conditions socio-démographiques de la zone. De mon point de vue et comme l'a dit M. Lahrizi, il y a des données / informations disponibles (ou qui devraient être disponibles) dès le début et le commissaire devrait les mettre à la disposition de l'équipe d'évaluation. D'après mon expérience, il y a toujours une réunion de lancement au cours de laquelle ces questions sont discutées et résolues. La capacité d'analyser ces données/informations serait une question de compétence de l'évaluateur et non d'indépendance ou d'impartialité.
En résumé, il est possible d'atteindre un degré pertinent d'impartialité/neutralité/ dans l'évaluation, à condition que les termes de référence soient clairs, que les données soient disponibles et que l'indépendance de l'évaluateur soit garantie par un financement suffisant et une indépendance administrative. L'évaluateur doit faire un travail sur lui-même en termes de croyances, de culture et de préjugés. Les approches méthodologiques pourraient aider à renverser une éventuelle impartialité.
Les bailleurs de fonds des programmes ainsi que les gestionnaires et les évaluateurs des programmes sont responsables des changements apportés par les interventions. Pourrions-nous lier cette réflexion aux coûts-avantages sociaux des interventions de développement ?
Enfin, il s'agit probablement d'une "question ouverte" qui pourrait mener à d'autres questions. Par conséquent, gardons la discussion ouverte.
RE: Neutrality-impartiality-independence. At which stage of the evaluation is each concept important?
Chers membres
Merci à tous pour vos réflexions et contributions. La discussion a permis de rassembler différentes expériences/opinions, mais la plupart semblent s'accorder sur les principes fondamentaux de la question.
Avant d'aller plus loin, je vais expliquer mon point de vue :
Même dans les expériences de laboratoire où toutes les conditions sont contrôlées, les scientifiques s'autorisent un certain niveau d'erreur, mais ils essaient de le rendre aussi faible que possible. Par conséquent, je ne parle pas d'une certitude à 100% des résultats avec des interventions sur l'homme (être compliqué).
Ce que je retiens de cette discussion, c'est que nous nous efforçons tous d'être "objectifs et inclusifs" autant que possible. Ce dernier point exprime notre "intervalle de confiance" et nos "degrés de liberté".
La discussion a permis d'aborder un large éventail de sujets relatifs à l'indépendance/impartialité/neutralité de l'évaluation. De la discussion des concepts à la suggestion de méthodologies de travail, les participants ont enrichi la discussion.
Les différentes contributions ont mis en évidence des facteurs importants qui peuvent influencer l'indépendance, la neutralité et l'impartialité des évaluateurs. M. Jean de Dieu Bizimana et M. Abubakar Muhammad Moki ont soulevé la question de l'influence du commissaire d'évaluation et des termes de références sur ces concepts. Le Dr Emile HOUNGBO évoque la dépendance financière de l'évaluateur, surtout si l'organisation/équipe qui finance l'évaluation est également responsable de la mise en œuvre de l'intervention. M. Richard Tinsley constate que même lorsque des fonds sont disponibles, les évaluateurs peuvent manquer de neutralité afin de s'assurer de futures missions. M. Tinsley donne l'exemple d'organisations d'agriculteurs qui ne jouent pas le rôle prévu mais qui sont tout de même poussées sur les petits exploitants.Du point de vue de M. Lasha Khonelidze, l'"ouverture d'esprit" de l'évaluateur est importante pour apporter divers points de vue, mais il est tout aussi important de s'assurer que l'évaluation est utile aux utilisateurs finaux (ceux-ci doivent être définis dans les TDR).
M. Sébastien Galéa suggère de travailler sur des normes/standards au niveau de la gestion du programme sur le terrain. Il souligne également l'importance de l'échange d'informations et d'expériences entre pairs à travers le monde (ex EvalForward). Il a gracieusement partagé un document dont le titre indique clairement que l'objectif de l'évaluation est d'obtenir de meilleurs résultats à l'avenir, soit par des interventions ultérieures, soit par des ajustements de l'intervention évaluée. Le document explique également l'indépendance/ impartialité du point de vue de la banque asiatique de développement et comment cette organisation a travaillé sur ces principes.À mon avis, le document de Weiss partagé par Mme Umi Hanik est venu en complément. Le document de Weiss analyse le développement, la mise en œuvre et l'évaluation des programmes. L'idée principale est que les programmes sont décidés en fonction d'un environnement politique et comme l'évaluation est censée guider la prise de décision, elle partage également la pression des participants politiques au programme. Ainsi, pour un participant au programme, l'acceptation du public est plus importante que la pertinence du programme. Par conséquent, je pense que c'est là que l'indépendance/ impartialité/ neutralité de l'évaluation entre en jeu.
Abubakar Muhammad Moki a ajouté que certaines entreprises recrutent des évaluateurs qu'elles connaissent, ce qui est confirmé par Mme Isha Miranda qui a ajouté que cela a un impact sur la qualité de l'évaluation, entraînant une diminution de la qualité des rapports d'évaluation (argument fondé sur des preuves) :). M. Olivier Cossee a ajouté que les évaluateurs recrutés devraient être "raisonnablement neutres". Ceci, je crois, met la pression sur le commissaire d'évaluation pour vérifier/ contrôler les évaluateurs "raisonnablement" neutres et introduit une autre variable : dans quelle mesure l'évaluateur est-il raisonnablement neutre ? (peut-on se référer aux études de comportement ?). Pour Mme Siva Ferretti, les choix individuels de l'évaluateur sont influencés par sa culture et il est donc difficile d'être "vraiment" inclusif/neutre. Le podcast partagé par Mme Una Carmel Murray donne un exemple d'inclusion de tous les participants afin de diluer la subjectivité du chercheur. De même, M. Abado Ekpo suggère de prendre le temps d'intégrer la logique des différents acteurs et de les comprendre afin de mener une évaluation objective. En outre, M. Steven Lam et M. Richard Tinsley discutent de l'importance de la méthodologie pour susciter l'intérêt de tous les participants.
M. Lal Manavado résume la réflexion en termes de responsabilité envers les fournisseurs de fonds, les politiciens ou les groupes sociaux. Mon point de vue est d'être responsable des objectifs du projet. Ont-ils été atteints ou non ? si non, pourquoi ? si atteints, pour qui ?
M. Khalid El Harizi a ajouté que la disponibilité des données/informations au début de l'évaluation ainsi que la capacité des évaluateurs à synthétiser les données sont importantes. Il convient toutefois de noter que, même lorsque les données sont disponibles, elles peuvent ne pas être facilement accessibles aux évaluateurs. Ceci est confirmé par M. Ram Chandra Khanal qui a soulevé la question du manque de temps et de l'accès limité à l'information sur les parties prenantes, ce qui aura un impact sur la collecte des données.
Cette discussion a clairement soulevé la question de la définition des termes. Comme indiqué précédemment, les utilisateurs finaux doivent être définis. Mme Svetlana Negroustoueva a également demandé des exemples pour contextualiser le terme indépendance. En outre, M. Thierno Diouf a soulevé l'importance de définir tous les termes discutés du point de vue de toutes les parties prenantes et des évaluateurs. Ces définitions devraient être claires dans les guides, les standards et les normes.
M. Diagne Bassirou parle de la perte de qualité et de profondeur de l'analyse avec "trop" d'objectivité puisque l'évaluateur peut ne pas connaître les conditions socio-démographiques de la zone. De mon point de vue et comme l'a dit M. Lahrizi, il y a des données / informations disponibles (ou qui devraient être disponibles) dès le début et le commissaire devrait les mettre à la disposition de l'équipe d'évaluation. D'après mon expérience, il y a toujours une réunion de lancement au cours de laquelle ces questions sont discutées et résolues. La capacité d'analyser ces données/informations serait une question de compétence de l'évaluateur et non d'indépendance ou d'impartialité.
En résumé, il est possible d'atteindre un degré pertinent d'impartialité/neutralité/ dans l'évaluation, à condition que les termes de référence soient clairs, que les données soient disponibles et que l'indépendance de l'évaluateur soit garantie par un financement suffisant et une indépendance administrative. L'évaluateur doit faire un travail sur lui-même en termes de croyances, de culture et de préjugés. Les approches méthodologiques pourraient aider à renverser une éventuelle impartialité.
Les bailleurs de fonds des programmes ainsi que les gestionnaires et les évaluateurs des programmes sont responsables des changements apportés par les interventions. Pourrions-nous lier cette réflexion aux coûts-avantages sociaux des interventions de développement ?
Enfin, il s'agit probablement d'une "question ouverte" qui pourrait mener à d'autres questions. Par conséquent, gardons la discussion ouverte.
Quelques liens échangés :
https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf
https://www.ecgnet.org/sites/default/files/evaluation-for-better-result…
https://disastersdecon.podbean.com/e/s6e2-researcher-positionality
https://agsci.colostate.edu/smallholderagriculture/request-for-informat….