Neutralité-impartialité-indépendance. A quel niveau de l'évaluation chaque concept est-il important?

Je suis tout à fait d'accord avec votre point de vue, car si le processus de collecte des données est compromis, des données erronées seront collectées, ce qui affectera certainement leur interprétation et, par extension, la rédaction du rapport. Les processus de collecte, d'interprétation et de communication des données doivent suivre une séquence logique comme la chaîne des résultats - l'un doit informer le suivant.

Bonjour, des contributions très intéressantes de chacun d'entre vous et cela enrichit la vision de l'évaluateur. Je conviens que l'impartialité, la neutralité et l'indipendence doivent être présentes tout au long du processus. Mais cela ne signifie pas que l'expérience, la culture et l'idéologie de l'évaluateur et ce qu'il peut traiter ou déduire des données et de leur analyse ne sont pas affectés par ces facteurs.

J'apprécie la réflexion de Silva.

Pour qu'une évaluation soit réussie, il n'est pas nécessaire d'avoir un résultat scientifique, le simple fait de faire participer toutes les parties prenantes autour d'un thème est vraiment un défi, il est impossible d'éviter qu'un résultat et une conclusion soient impartiaux. Nous ne sommes pas dans un laboratoire, nous sommes dans un système ouvert.

Mohammed Lardi

Silva Ferretti

J'ai vraiment apprécié de lire la note et de voir avec quel soin elle a été rédigée, en tenant compte de tous les points de vue.

Il est utile de voir où en est la discussion. Mais le sujet, "closing remarks", est un peu dissuasif :-)

Comme le dit Malika, il est plus utile de garder la discussion ouverte.

Il existe une hypothèse selon laquelle les évaluations doivent être impartiales et neutres (et que l'évaluateur en est le gardien), une tendance à assimiler les évaluations à la recherche (même la recherche ne peut pas toujours être impartiale !) .

La compréhension sous-jacente de l'évaluation est la suivante : un produit généré par un expert qui sélectionne l'échantillon parfait et arrive à des conclusions scientifiques.

Est-ce vraiment ce à quoi une évaluation devrait ressembler et être ?

Une évaluation ne devrait-elle pas plutôt être une occasion d'appliquer la pensée évaluative à un programme ?

Une occasion où des personnes différentes, avec des visions du monde différentes, peuvent mieux comprendre où en est un programme, quelles sont les possibilités à venir, ce que l'on peut apprendre ?

Ce point me tient vraiment à cœur : nous présentons TOUTES les évaluations comme si elles devaient être des "produits scientifiques", élaborés par des experts, capables d'être impartiaux et sages.

Certaines évaluations (ou mieux, certaines recherches) pourraient bien avoir cet objectif.

Mais supposer que cela devrait toujours être l'objectif de l'évaluation en général est très problématique.

Les évaluations participatives, par exemple, ne visent pas du tout à créer une vision impartiale.

Il s'agit de réunir les perspectives de diverses personnes pour donner un sens à une situation.

Il se peut qu'elles n'aboutissent pas à des conclusions partagées ou convenues, mais elles peuvent être incroyablement puissantes en injectant la pensée critique nécessaire à l'action.

L'évaluateur n'est pas toujours l'expert scientifique... il peut être le facilitateur.

Il est certain qu'il doit alors penser à l'inclusion, à la représentation, et être très conscient des relations, de la position et du pouvoir des parties prenantes.

Mais l'inclusion et la représentation sont des concepts fondamentalement différents de la neutralité, de l'impartialité et de l'indépendance (qui ne doivent pas non plus être mis dans le même sac).

Il s'agit d'être conscient (autant que possible) et honnête sur les dynamiques en jeu, sur les choix effectués... plutôt que de prétendre que nous pouvons atteindre l'objectivité.

Nombre de mes évaluations, par exemple, ne sont pas neutres par CHOIX.

Je m'efforce de donner plus de voix aux personnes qui sont généralement moins représentées.

Je parle à plus de femmes, à plus d'exclus, à plus de personnes ayant des difficultés particulières.

Pourtant, je pense sincèrement que ce choix ouvert d'être partial est beaucoup plus utile qu'une tentative de neutralité et d'impartialité.

Avec le temps et les ressources limités d'une évaluation, quelles sont les voix qui valent la peine d'être écoutées, quelles sont les conversations qui valent la peine d'être tenues ?

Être conscient et ouvert à nos choix est plus puissant et honnête que de prétendre que nous pouvons être impartiaux :-)

(et si le but est d'avoir des preuves scientifiques, alors lançons-nous dans la recherche... ce qui est autre chose).

Merci encore d'avoir partagé des points intéressants jusqu'à présent, et d'avoir facilité la discussion.

J'espère que cette discussion intéressante pourra se poursuivre.

Best

Silva

Chers membres

Merci à tous pour vos réflexions et contributions. La discussion a permis de rassembler différentes expériences/opinions, mais la plupart semblent s'accorder sur les principes fondamentaux de la question.

Avant d'aller plus loin, je vais expliquer mon point de vue :

Même dans les expériences de laboratoire où toutes les conditions sont contrôlées, les scientifiques s'autorisent un certain niveau d'erreur, mais ils essaient de le rendre aussi faible que possible. Par conséquent, je ne parle pas d'une certitude à 100% des résultats avec des interventions sur l'homme (être compliqué).

Ce que je retiens de cette discussion, c'est que nous nous efforçons tous d'être "objectifs et inclusifs" autant que possible. Ce dernier point exprime notre "intervalle de confiance" et nos "degrés de liberté".

La discussion a permis d'aborder un large éventail de sujets relatifs à l'indépendance/impartialité/neutralité de l'évaluation. De la discussion des concepts à la suggestion de méthodologies de travail, les participants ont enrichi la discussion.

Les différentes contributions ont mis en évidence des facteurs importants qui peuvent influencer l'indépendance, la neutralité et l'impartialité des évaluateurs.  M. Jean de Dieu Bizimana et M. Abubakar Muhammad Moki ont soulevé la question de l'influence du commissaire d'évaluation et des termes de références sur ces concepts. Le Dr Emile HOUNGBO évoque la dépendance financière de l'évaluateur, surtout si l'organisation/équipe qui finance l'évaluation est également responsable de la mise en œuvre de l'intervention. M. Richard Tinsley constate que même lorsque des fonds sont disponibles, les évaluateurs peuvent manquer de neutralité afin de s'assurer de futures missions. M. Tinsley donne l'exemple d'organisations d'agriculteurs qui ne jouent pas le rôle prévu mais qui sont tout de même poussées sur les petits exploitants.Du point de vue de M. Lasha Khonelidze, l'"ouverture d'esprit" de l'évaluateur est importante pour apporter divers points de vue, mais il est tout aussi important de s'assurer que l'évaluation est utile aux utilisateurs finaux (ceux-ci doivent être définis dans les TDR).

M. Sébastien Galéa suggère de travailler sur des normes/standards au niveau de la gestion du programme sur le terrain. Il souligne également l'importance de l'échange d'informations et d'expériences entre pairs à travers le monde (ex EvalForward). Il a gracieusement partagé un document dont le titre indique clairement que l'objectif de l'évaluation est d'obtenir de meilleurs résultats à l'avenir, soit par des interventions ultérieures, soit par des ajustements de l'intervention évaluée. Le document explique également l'indépendance/ impartialité du point de vue de la banque asiatique de développement et comment cette organisation a travaillé sur ces principes.À mon avis, le document de Weiss partagé par Mme Umi Hanik est venu en complément.  Le document de Weiss analyse le développement, la mise en œuvre et l'évaluation des programmes. L'idée principale est que les programmes sont décidés en fonction d'un environnement politique et comme l'évaluation est censée guider la prise de décision, elle partage également la pression des participants politiques au programme. Ainsi, pour un participant au programme, l'acceptation du public est plus importante que la pertinence du programme. Par conséquent, je pense que c'est là que l'indépendance/ impartialité/ neutralité de l'évaluation entre en jeu.

Abubakar Muhammad Moki a ajouté que certaines entreprises recrutent des évaluateurs qu'elles connaissent, ce qui est confirmé par Mme Isha Miranda qui a ajouté que cela a un impact sur la qualité de l'évaluation, entraînant une diminution de la qualité des rapports d'évaluation (argument fondé sur des preuves) :). M. Olivier Cossee a ajouté que les évaluateurs recrutés devraient être "raisonnablement neutres". Ceci, je crois, met la pression sur le commissaire d'évaluation pour vérifier/ contrôler les évaluateurs "raisonnablement" neutres et introduit une autre variable : dans quelle mesure l'évaluateur est-il raisonnablement neutre ? (peut-on se référer aux études de comportement ?). Pour Mme Siva Ferretti, les choix individuels de l'évaluateur sont influencés par sa culture et il est donc difficile d'être "vraiment" inclusif/neutre. Le podcast partagé par Mme Una Carmel Murray donne un exemple d'inclusion de tous les participants afin de diluer la subjectivité du chercheur. De même, M. Abado Ekpo suggère de prendre le temps d'intégrer la logique des différents acteurs et de les comprendre afin de mener une évaluation objective. En outre, M. Steven Lam et M. Richard Tinsley discutent de l'importance de la méthodologie pour susciter l'intérêt de tous les participants.

M. Lal Manavado résume la réflexion en termes de responsabilité envers les fournisseurs de fonds, les politiciens ou les groupes sociaux. Mon point de vue est d'être responsable des objectifs du projet. Ont-ils été atteints ou non ? si non, pourquoi ? si atteints, pour qui ?

M. Khalid El Harizi a ajouté que la disponibilité des données/informations au début de l'évaluation ainsi que la capacité des évaluateurs à synthétiser les données sont importantes. Il convient toutefois de noter que, même lorsque les données sont disponibles, elles peuvent ne pas être facilement accessibles aux évaluateurs. Ceci est confirmé par M. Ram Chandra Khanal qui a soulevé la question du manque de temps et de l'accès limité à l'information sur les parties prenantes, ce qui aura un impact sur la collecte des données.

Cette discussion a clairement soulevé la question de la définition des termes. Comme indiqué précédemment, les utilisateurs finaux doivent être définis. Mme Svetlana Negroustoueva a également demandé des exemples pour contextualiser le terme indépendance. En outre, M. Thierno Diouf a soulevé l'importance de définir tous les termes discutés du point de vue de toutes les parties prenantes et des évaluateurs. Ces définitions devraient être claires dans les guides, les standards et les normes. 

M. Diagne Bassirou parle de la perte de qualité et de profondeur de l'analyse avec "trop" d'objectivité puisque l'évaluateur peut ne pas connaître les conditions socio-démographiques de la zone. De mon point de vue et comme l'a dit M. Lahrizi, il y a des données / informations disponibles (ou qui devraient être disponibles) dès le début et le commissaire devrait les mettre à la disposition de l'équipe d'évaluation. D'après mon expérience, il y a toujours une réunion de lancement au cours de laquelle ces questions sont discutées et résolues. La capacité d'analyser ces données/informations serait une question de compétence de l'évaluateur et non d'indépendance ou d'impartialité.

En résumé, il est possible d'atteindre un degré pertinent d'impartialité/neutralité/ dans l'évaluation, à condition que les termes de référence soient clairs, que les données soient disponibles et que l'indépendance de l'évaluateur soit garantie par un financement suffisant et une indépendance administrative. L'évaluateur doit faire un travail sur lui-même en termes de croyances, de culture et de préjugés. Les approches méthodologiques pourraient aider à renverser une éventuelle impartialité.

Les bailleurs de fonds des programmes ainsi que les gestionnaires et les évaluateurs des programmes sont responsables des changements apportés par les interventions. Pourrions-nous lier cette réflexion aux coûts-avantages sociaux des interventions de développement ?

Enfin, il s'agit probablement d'une "question ouverte" qui pourrait mener à d'autres questions. Par conséquent, gardons la discussion ouverte. 

Quelques liens échangés :

https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf

https://www.ecgnet.org/sites/default/files/evaluation-for-better-result…

https://disastersdecon.podbean.com/e/s6e2-researcher-positionality

https://agsci.colostate.edu/smallholderagriculture/request-for-informat….

Pour évaluer il faut de la distanciation avec sa culture, sa logique et son système de valeurs. Il faut intégrer le contexte du projet en amont pour évaluer le projet pour réduire les biais. Car il est difficile de faire une évaluation sans  nos logiques culturelle. Il faut prendre du temps pour intégrer la logique des différents acteurs et les comprendre pour faire une évaluation objective.

Chère Umi,

Merci beaucoup d'avoir partagé cet excellent article de Carol Weiss [contribution antérieure ici]. Il s'agit d'un vieil article, mais d'un article en or. Je viens de le terminer et je veux graver certaines de ses phrases dans le béton des murs de mon bureau. Par exemple :

Weiss met en lumière une série impressionnante d'hypothèses cuites dans la pratique de l'évaluation. Toutes ne sont pas toujours considérées comme vraies, mais je pense qu'elle a raison de dire qu'elles ont tendance à "aller de soi", c'est-à-dire à être acceptées silencieusement et même inconsciemment la plupart du temps. Voici une liste de ces hypothèses, basée sur son article :

1. La sélection des programmes ou des politiques qui seront évalués et de ceux qui ne le seront pas se fait de manière équitable - c'est-à-dire qu'il n'y a pas d'agenda caché dans le plan d'évaluation et qu'aucun programme n'est protégé de l'évaluation.
2. Le programme à évaluer avait des objectifs raisonnables, souhaitables et réalisables, de sorte qu'il peut être évalué sur la base de ces objectifs.
3. Les objectifs explicites du programme peuvent être considérés comme vrais ; il n'y a pas d'agenda caché, ils reflètent les objectifs réels de l'intervention.
4. Le programme évalué est un ensemble cohérent d'activités, raisonnablement stable dans le temps et indépendant d'autres programmes ou politiques similaires, de sorte qu'il est logique de se concentrer sur lui dans une évaluation - c'est une unité d'analyse valable.
5. Les parties prenantes du programme, les bénéficiaires et les évaluateurs sont tous d'accord sur ce qui est bon et souhaitable ; toute différence de valeurs peut être conciliée, de sorte que la discussion se limite généralement aux moyens d'y parvenir.
6. Les résultats du programme sont importants pour le personnel du programme et pour les décideurs, dont on peut s'attendre à ce qu'ils tiennent compte des preuves recueillies par l'évaluation afin d'améliorer les résultats.
7. Les questions figurant dans les termes de référence sont importantes et reflètent les préoccupations des bénéficiaires du programme, et pas seulement de ceux qui le mettent en œuvre.
8. L'équipe d'évaluation, telle qu'elle est composée, peut atteindre un bon degré d'objectivité (neutralité-impartialité-indépendance...) dans son analyse.
9. Dans la plupart des programmes, ce qu'il faut pour améliorer les résultats, c'est un changement progressif (efforts renouvelés, ressources accrues), plutôt que de supprimer complètement le programme ou de modifier radicalement son approche.
10. Cette dernière hypothèse repose sur le fait que la plupart des recommandations émanant des évaluations concernent des ajustements mineurs dans la mise en œuvre des programmes. Mme Weiss établit un lien avec le type de messages qui peuvent être acceptés par les commissaires d'évaluation.

Dans la pratique, ils sont tous problématiques, au moins occasionnellement, et Weiss fait un excellent travail pour montrer comment certains d'entre eux ne sont souvent pas soutenus par les faits. Par exemple, en ce qui concerne l'hypothèse 1, elle montre que les nouveaux programmes sont généralement soumis à une pression évaluative plus forte que les anciens programmes bien établis.

Merci encore pour cet article très pertinent. L'évaluation est en effet de nature politique et les évaluateurs ne peuvent que bénéficier de cette clarification.

Olivier

Sur la responsabilité

Si l'on me disait que je suis redevable de certaines de mes actions, je me trouverais dans une position très délicate à moins de savoir ---

   - de quoi je suis redevable et

   - à qui je dois rendre des comptes.

Pour autant que je puisse voir, je ne serais pas en mesure de donner une réponse sensée à la question de savoir si j'ai réussi à rendre compte de mes actions tant que je n'aurais pas reçu de réponses raisonnables à ces deux questions.

Maintenant, si mes actions sont guidées par les normes de plusieurs groupes, par exemple, les fournisseurs de fonds, la poltronnerie politique etc., d'une part, et un ou plusieurs besoins concrets d'un groupe social d'autre part, ma position sera extrêmement difficile en ce qui concerne les deux questions ci-dessus.

Dans ce cas, mes actions doivent-elles être justifiées par rapport à ---

   - Aux normes du fournisseur de fonds,

   - Une parcelle des politiciens ou

   - Un ou plusieurs besoins concrets d'un groupe social que mes actions visent à satisfaire ?

Jusqu'à présent dans cette discussion, la plupart des participants semblent croire que les réponses aux questions ci-dessus sont conciliables. En effet, dans un monde coopératif, ce serait le cas, mais la plupart des gens défendent un environnement compétitif.

La même difficulté devient encore plus flagrante lorsqu'il faut faire face à des bailleurs de fonds, des politiciens et les représentants les plus véhéments d'un "groupe cible".

Il est peut-être temps que les évaluateurs s'arrêtent un instant pour vérifier soigneusement leurs prémisses de base, car lorsque nous sommes confrontés à ce qui peut sembler irréconciliable, un examen impartial de nos prémisses nous montrerait qu'une ou plusieurs d'entre elles sont indéfendables.

Le lecteur perspicace a peut-être déjà remarqué que la "neutralité", l'"impartialité" et l'"objectivité" sont des termes relatifs aux normes utilisées par les fournisseurs de fonds, les politiciens, les groupes cibles, sans parler de ce que l'on appelle avec humour les "médias". Dans ces conditions, l'"indépendance" devient une notion extrêmement discutable.

A la vôtre !

Lal.

Je suis d'accord [avec Steven Lam ci-dessous]. Il est toujours important d'essayer et de s'efforcer d'atteindre la neutralité, l'indépendance et l'impartialité (en prenant ces concepts comme des synonymes approximatifs) même si nous savons qu'en pratique ces "idéaux" peuvent ne pas être atteints à 100%. Il est toujours important d'essayer de contrôler les préjugés, de procéder à de larges consultations, etc., même si nous savons qu'une neutralité parfaite est humainement impossible à atteindre. Et la raison pour laquelle il est important de le faire est liée à l'obtention d'un résultat plus convaincant, plus crédible et plus utile. Une évaluation biaisée reste souvent inutilisée, et à juste titre.

La redevabilité est bien plus que le fait de rendre compte d'un plan de travail (ce qui est, malheureusement, la façon dont elle est souvent présentée).

La redevabilité signifie que nous faisons des promesses explicites ou implicites à d'autres personnes et groupes (dans le cas de projets humanitaires ou de développement, à de NOMBREUSES autres personnes ayant des perspectives et des priorités différentes). Nous sommes responsables de ces promesses. Cela signifie : faire en sorte que les promesses se concrétisent - lorsque cela est possible et utile... mais aussi changer, améliorer, faire évoluer nos promesses si nécessaire, *en respectant toujours le lien qui sous-tend ces promesses*. Ce qui compte pour la responsabilité, c'est la *relation*.

Les choses, les conditions peuvent changer. Mais les gens sont responsables les uns envers les autres lorsqu'ils se tiennent mutuellement informés des changements et lorsqu'ils mettent en place des processus solides pour négocier la voie à suivre pour que la promesse reste vivante et pertinente. Et éventuellement, pour l'améliorer.

Si vous avez cette vision de la responsabilité, l'apprentissage en fait clairement partie.

L'apprentissage est ce qui améliore la promesse, et ce qui améliore la confiance nécessaire pour négocier les promesses et les conditions de responsabilité.

Bien sûr, nous devons toujours nous rappeler que cela se produit dans des situations désordonnées, et que nous sommes souvent responsables, comme nous l'avons mentionné, devant diverses personnes, avec des intérêts différents. Nous pouvons être responsables devant de nombreuses personnes. Mais quelle est l'importance réelle de la redevabilité pour nous ? Les intérêts des donateurs ne sont pas toujours, par exemple, les intérêts des personnes marginalisées que nous sommes censés servir... ou les intérêts des générations futures...

Lorsque nous nous en tenons à la redevabilité comme à des "résultats", nous passons à côté de l'essentiel.

Et souvent, plutôt que la redevabilité, nous avons le contrôle bureaucratique.

Pour en revenir à la question qui a lancé le débat, la redevabilité elle-même n'est pas un mot neutre.

La personne à qui nous choisissons de rendre des comptes a des conséquences profondes sur notre façon d'agir et d'envisager le changement.

Il est vraiment important d'en être conscient, plutôt que de penser qu'un échantillon plus large résoudra le problème.

Et même le discours humanitaire en prend conscience et recadre la notion de neutralité...

Une fois encore, nous avons un autre sujet intéressant, critique et stimulant à commenter. Comme je l'ai déjà dit, la contribution la plus importante de toute évaluation de projet est l'orientation qu'elle fournit aux projets futurs afin qu'ils puissent mieux servir les bénéficiaires. Malheureusement, les évaluations deviennent trop souvent des outils de propagande nécessaires pour apaiser les donateurs et assurer les projets futurs, tout en faisant peu ou rien pour les bénéficiaires visés.

Ainsi, alors que le commentaire montre un bon consensus sur l'importance de la neutralité, de l'impartialité et de l'indépendance, il montre également que l'obtention de ces éléments peut être très difficile car les projets fournissent rarement des fonds pour des examens externes par des évaluateurs indépendants, mais si les fonds sont disponibles, l'intérêt personnel dans les missions futures potentielles, va souvent biaiser l'objectivité nécessaire pour être suffisamment critique des résultats pour guider les projets futurs.  

Une façon de minimiser ce biais pourrait être d'avoir quelques objectifs clairs et bien définis qui distingueront le succès du projet de son échec. Quelqu'un a-t-il déjà vu un ensemble de critères d'évaluation permettant d'atteindre cet objectif ? Je n'en ai pas vu ! Cet ensemble de critères doit être établi dès le début d'un projet. Ils doivent également être proches de ce que les contribuables souscripteurs intéressés attendent et reflétés dans les rapports du projet. Il peut également être nécessaire de les exprimer en pourcentages du potentiel, plutôt qu'en chiffres globaux. En effet, lorsque vous mettez l'accent sur les chiffres globaux, vous pouvez générer des valeurs très impressionnantes mais dénuées de sens qui ne font que refléter la taille massive des projets et des investissements, tout en ayant un impact total insignifiant. C'est en gros ce que reflète l'évaluation du MEL de l'USAID. Au lieu de cela, l'accent mis sur le pourcentage du potentiel donnera une meilleure évaluation de l'efficacité du projet. Il faut également se rappeler que la plupart des projets sont définis par la communauté qu'ils servent, et que l'évaluation doit donc refléter l'impact communautaire plus que l'impact individuel.

Permettez-moi d'illustrer mon propos par mon problème de développement préféré. Il s'agit de la dépendance excessive, depuis près de 40 ans, à l'égard des organisations de producteurs pour acheminer l'aide aux petits exploitants agricoles. Si je suis d'accord pour dire que les organisations de producteurs peuvent être socialement souhaitables, elles sont également lourdes sur le plan administratif, ce qui se traduit rapidement par des frais généraux, qui peuvent plus que réduire les avantages financiers globaux. Le recours aux organisations de producteurs ne fera donc qu'aggraver la pauvreté des petits exploitants, sans parler des inconvénients de la vente en consignation dans une société fortement axée sur l'argent liquide. Ainsi, les agriculteurs les évitent largement et sagement, de sorte qu'ils ont besoin d'une facilitation et de subventions externes continues pour exister, puis s'effondrent une fois le soutien externe terminé. Pourtant, l'effort de développement de l'agriculture des petits exploitants est totalement engagé à les imposer aux communautés, et à prétendre qu'ils sont le salut essentiel pour les petits exploitants, comme le montre la rhétorique accompagnant toute présentation qui porterait à croire que quiconque est fou de ne pas participer.

Avant de discuter des organisations de producteurs dans le cadre de mon cours d'agriculture internationale, j'ai toujours demandé aux étudiants, dont beaucoup s'intéressaient au développement international et envisageaient de rejoindre le Corps de la Paix, de dresser la liste de ce qu'ils pensaient être les valeurs minimales de divers paramètres commerciaux associés aux organisations de producteurs et de les comparer à la meilleure estimation que j'ai pu obtenir en examinant divers rapports et en effectuant quelques calculs simples. Les résultats se trouvent sur la page web : https://agsci.colostate.edu/smallholderagriculture/request-for-informat….

On s'attend à ce que les organisations de producteurs inscrivent bien plus de 50 % des bénéficiaires potentiels et qu'elles commercialisent par l'intermédiaire de l'organisation 70 % de leur production, tandis que les autres vendent moins de 10 %. En réalité, seuls 10 à 15 % des agriculteurs ont participé au projet, et même ceux-là vendent la majeure partie de leur production lorsque c'est possible, de sorte que l'impact total sur la communauté n'est que de >5 %. Ce n'est pas ce que vous souhaiteriez vraiment comme projet réussi.  Prenez quelques minutes pour examiner la page Web et certaines des pages liées et faites part de vos commentaires sur ce forum. Est-ce que les :

• Critères que je suggère corrects pour l'évaluation d'un projet fournissant un service commercial aux petits exploitants ?

• Critères jamais inclus dans l'évaluation d'un service commercial pour les petits exploitants que vous connaissez ? Je ne les ai jamais vus utilisés.

• Les attentes des étudiants en matière de valeurs minimales sont-elles réalistes du point de vue de la souscription ?

• Valeurs réelles précises d'après votre expérience ?

Si ces résultats cibles avaient été mis en avant dès le début, auraient-ils permis à une évaluation indépendante ou même interne de critiquer plus franchement les résultats sans compromettre les opportunités futures ?

Cela aurait-il orienté les projets futurs vers la recherche de moyens plus efficaces pour aider les petits exploitants agricoles à sortir de la pauvreté ?

Je pense que la persistance à s'appuyer sur l'organisation des producteurs représente un manque d'évaluations indépendantes ou une compromission de celles-ci. L'acceptation limitée par les petits exploitants aurait dû être identifiée il y a des décennies, et l'effort de développement aurait dû être déplacé pour identifier et mettre en œuvre des options plus efficaces. Il s'agit donc de donateurs qui n'ont aucun intérêt sincère à aider les petits producteurs, mais qui s'engagent pleinement à leur imposer cet horrible modèle commercial, pour lequel ils ne sont heureusement pas assez crédules pour tomber. Le mieux que l'on puisse dire de cette pratique, c'est qu'elle témoigne d'une bonne intention facilement rendue publique sans pour autant accomplir quoi que ce soit. En ce qui concerne les organisations de producteurs, je pense qu'il s'agit d'un véritable scandale de plusieurs décennies et de plusieurs milliards de dollars, avec de graves responsabilités possibles en cas de dissimulation.  Ai-je tort ? S'il y avait eu un objectif clair quant à ce qui constitue un succès ou un échec, cela aurait-il pu être évité ?

Voici quelques pages Web supplémentaires qui donnent plus de détails :

https://agsci.colostate.edu/smallholderagriculture/perpetuating-cooperatives-deceptivedishonest-spin-reporting/

https://agsci.colostate.edu/smallholderagriculture/loss-of-competitive-advantage-areas-of-concern/

https://agsci.colostate.edu/smallholderagriculture/vulnerability-for-class-action-litigation-a-whistleblowers-brief/

Merci

Bonjour à tous

J'ai écouté hier soir un podcast sur la "positionnalité du chercheur".

https://disastersdecon.podbean.com/e/s6e2-researcher-positionality/

Il faut attendre environ 4 minutes dans le podcast pour que la discussion commence vraiment (4.12).

Avec mes salutations

Una

(Évaluateur et conférencier)

Chers tous

J'ai apprécié la discussion et j'ai en fait partagé la même curiosité il y a cinq ans, puis j'ai fait quelques recherches bibliographiques, 
Parmi les ouvrages que j'ai lus, j'ai trouvé un article pertinent pour notre discussion d'aujourd'hui, 
vieux, mais toujours pertinent pour les situations d'évaluation de nos jours.
 
👉🏽https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf…;

Bonne lecture

Umi

https://www.monevstudio.org

Chers collègues, 

Cette discussion est certainement très pertinente.

Je voudrais remplacer les questions initiales concernant la position des responsables/officiers/consultants de S&E (MEAL, MEL...) sur le terrain ou au niveau du projet/programme et leur marge de manœuvre pour réaffirmer fermement l'adhésion aux normes et standards s'il n'y a pas un soutien fort de la fonction d'indépendance - s'assurer que les normes et standards font leur chemin tout au long de la ligne. Ce n'est peut-être pas une question brûlante lorsqu'un bureau d'évaluation indépendant existe et fonctionne. Mais si ce n'est pas le cas, le poste/agent de S&E sur le terrain devient une pièce/un pion interchangeable qui peut ne pas alimenter l'évaluation indépendante.

Je pense que lorsqu'un problème de " norme et de standard " est détecté, la demande doit être couverte et conduite par la fonction d'évaluation indépendante, car le consultant n'est pas en mesure de faire pression longtemps lorsqu'il est marginalisé ou que le contrat est terminé.  Et s'il n'y a pas de service d'évaluation indépendant, des groupes d'échange de pairs comme celui-ci ou des associations d'évaluation nationales et internationales pourraient être l'étape pour rassembler toutes les préoccupations précédemment émises dans ce fil de discussion et les amener un peu plus loin pour la systématisation des organismes indépendants.

Je voudrais suggérer cette lecture avec des idées inspirantes de l'EADB, de 2014 : Evaluation for Better Results - "Accountability and Learning : Les deux faces d'une même pièce" https://www.ecgnet.org/sites/default/files/evaluation-for-better-result…;

Cette citation de Moises Schwartz (ancien directeur de l'indépendant du FMI) : "Pour être précis, lorsque les rapports d'évaluation ont mis en évidence des cas où le FMI n'a pas été à la hauteur de ses performances (l'élément de responsabilité), l'exercice se transforme en une quête pour identifier la raison d'un tel comportement, et les résultats et conclusions contribuent alors à une organisation améliorée (l'élément d'apprentissage)."

Cela peut sembler évident maintenant et mérité ? Quelles sont vos expériences ?

Le point qui m'avait échappé est de savoir dans quelle mesure la responsabilité est une condition préalable à tout apprentissage - dans toutes les limites précédemment exprimées de l'équité/impartialité " => mais aussi des limites claires à la complaisance étant donné la gravité des problèmes auxquels nous sommes confrontés - en pensant spécifiquement à l'appel à une adaptation plus rapide et systémique au changement climatique.

Chaleureuses salutations, 

Sébastien Galéa
 

Traduit avec www.DeepL.com/Translator (version gratuite)

Bonjour à tous,

Cette discussion me rappelle les débats sur la recherche qualitative et quantitative. La recherche qualitative part du principe que la position du chercheur - en tant que principal instrument de recherche - a un impact sur tous les aspects de la recherche. La recherche quantitative est perçue comme étant neutre/impartiale, bien que le chercheur puisse choisir les questions à poser, les personnes à interroger, les endroits où chercher, etc. Plutôt que de s'efforcer d'établir des principes qui n'existent pas vraiment dans l'évaluation, je pense qu'il est plus fructueux d'être conscient de la façon dont les identités, les expériences et les intérêts des évaluateurs et des clients sont entrelacés dans l'évaluation. Lors de la conception de l'évaluation, posez-vous la question suivante : quels intérêts l'évaluation sert-elle ? A qui demandons-nous (pas) ? De quelle manière influençons-nous le processus d'évaluation ? Les données seront-elles convaincantes ? Cette prise de conscience peut conduire à une planification qui aboutit à des évaluations plus solides et plus crédibles.

Chére Madame Bounfour,

de par mon expérience la neutralité et l'impartialité sont très importants dans la constitution d'une équipe d'évaluation afin de palier aux biais dans la collecte et aussi dans l'analyse des résultats obtenus pour une meilleure objectivité dans une mise à l'échelle ou reproduction dans une autre contexte. Cependant dans certaines situations d'approche mixte avec une partie entière de données qualitatives a collectées et analysées trop misé sur une équipe neutre et impartiale peut nous amener à une situation d'analyse non approfondie ou superficielle de cas ou de phènomène durant le processus. Cependant, je pense qu'il faut savoir en faire bon usage sans excés, ce qui pourrait un risque de résultats biais autrement par une manque de compréhension de l'intervention ou du contexte d'intervention voire même des caractéristiques socio-démogrphique des populations bénéficiaires....

Chers tous,

Mon expérience de travail avec les bureaux d'évaluation indépendants des agences basées à Rome a été positive en ce qui concerne l'indépendance. Ils m'ont généralement soutenu en cas de conflit avec le personnel du projet ou les équipes nationales/régionales, en insistant sur l'indépendance de l'équipe et son droit d'accéder aux informations sans interférence, en discutant des notations - et même en concluant que nous devrions être plus critiques, parfois. Dans ces cas, il y a généralement une certaine implication du personnel du bureau d'évaluation avec les consultants indépendants (mais pas toujours pendant la visite sur le terrain). Concernant les notes d'entretien - elles sont généralement en ma possession, il ne s'agit donc pas vraiment de les "obtenir". En fait, je ne suis pas certaine de la légalité de leur utilisation dans d'autres missions - il faudrait évidemment faire attention car les informations ont été obtenues dans le cadre d'un contrat différent.

Salutations,

Pamela

Chers collègues,

Cette discussion a déjà été très instructive et rassurante quant aux normes de la profession d'évaluateur.

Il serait formidable de déballer la question de l'"indépendance", de la contextualiser à partir d'un exemple qui n'a pas encore été mis en évidence.  Pour les membres qui ont été consultés par des bureaux d'évaluation indépendants, c'est-à-dire des agences des Nations Unies basées à Rome, de la BAD, de l'IEG, du GEF ou d'autres, et pour les membres qui travaillent dans ces bureaux d'évaluation, que signifie l'"indépendance" entre le bureau d'évaluation et un consultant/une équipe engagée pour mettre en œuvre une évaluation.

- Dans quelle mesure un consultant ou une équipe de consultants sont-ils indépendants d'un commissaire (c'est-à-dire du bureau d'évaluation) ?

- Y a-t-il un point à partir duquel les conseils techniques et l'assurance qualité du commissaire (c'est-à-dire du bureau d'évaluation) menacent l'indépendance du consultant/de l'équipe d'évaluation ?

- Qu'en est-il des preuves collectées (notes d'entretien) : le commissaire a-t-il le droit de les obtenir, pour pouvoir s'y référer une fois que le consultant/l'équipe d'évaluation n'est plus sous contrat ?  

En réfléchissant à cette question, n'oublions pas que les agences d'évaluation indépendantes ne rendent pas compte à la direction en raison de la conception des structures de gouvernance et d'assurance. 

J'attends avec impatience de recevoir des nouvelles de chacun d'entre vous, des deux côtés.

A la vôtre,

Svetlana Negroustoueva

Lead, Evaluation Function

CGIAR Advisory Services Shared Secretariat (CAS) Rome, Italy

Dear Isha,

sure on one side you are right this is the real time to change the practice in evaluation and bringing change with innovation.

True, some evaluators provide reports with 100 gapes without productive analysis and sometimes recommendations don't match with the issues raised.

Let 's all evaluators put together and improve our works by contributing to our global objectives.

Kinds Regards,

Chère Mallika

Je suis si fière de vous que vous ayez abordé ce sujet ouvertement. En tant qu'évaluateurs, nous avons toujours fait preuve de neutralité et d'impartialité. Mais de nombreuses organisations telles que les NU, la Banque mondiale, la BAD, etc. (comme le dit Abubakar : "Le plus souvent, les évaluateurs sont sélectionnés en raison de certaines relations et, une fois sélectionnés, ils espèrent être sélectionnés à nouveau à l'avenir") se mettent dans une zone de confort avec certains groupes d'évaluateurs ou certaines sociétés d'évaluation, encore et encore. 

J'ai examiné de nombreux rapports d'évaluation et j'ai constaté une détérioration du professionnalisme dans les rapports d'évaluation, soit parce que : a) ils sont très partiaux, b) ils manquent de synergies entre les résultats, les recommandations et les conclusions, c) il s'agit de rapports volumineux de près de 100 pages, sans analyse productive, sans collecte de données productive, avec moins de professionnalisme dans les collectes de données et les questionnaires. Ce sont là quelques-unes de mes observations.

Je pense qu'il est temps d'élever la voix à ce sujet et d'insister sur le professionnalisme de l'évaluation compte tenu des priorités ci-dessus, afin de sauver cette profession. 

Chers tous,

Il semble que l'on discute de deux sujets ou de questions connexes similaires ; ou peut-être suis-je confus à cause des deux fils de discussion.

Pour moi, il s'agit d'abord d'être sur la même longueur d'onde quand on discute de concepts, mais surtout de les mettre en perspective. Que signifient les concepts de neutralité, d'impartialité et d'indépendance pour les évaluateurs, les gestionnaires d'évaluation et les utilisateurs, pour les bénéficiaires ? Comme les uns et les autres n'ont pas forcément la même culture, et qu'ils n'utilisent pas non plus le même cadre de production de connaissances, tous ces concepts peuvent avoir des connotations différentes.

Par conséquent, la "décolonisation" des théories et des cadres d'évaluation sera cruciale pour l'utilisation de ces concepts et leur interprétation.

Salutations

Thierno Diouf

Monitoring & Evaluation Specialist

UNFPA

Chers tous,

Il est difficile de ne pas être fermement d'accord avec les arguments d'Oliver sur la neutralité vs. l'utilité. Une plus grande inclusion et une plus grande participation des parties prenantes dans le processus d'évaluation, combinées à des conditions suffisantes stimulant l'"ouverture d'esprit" des évaluateurs à l'égard de divers points de vue, sont la clé du succès pour atteindre l'objectivité et, à son tour, pour aboutir à un résultat d'apprentissage utile. Il est important de ne pas oublier que les utilisateurs finaux des résultats de l'évaluation sont des "clients" qui attendent que le produit de l'évaluation soit utile.  

A la vôtre,

Lasha

Je suis d'accord avec Olivier et Silva, qui mettent en garde contre une éventuelle radicalisation des approches décisionnelles fondées sur des données probantes. Cela ne veut pas dire que Malika est tombée dans ce risque (elle a peut-être raison de demander des données plus objectives pour évaluer les questions de genre), mais laissez-moi dire que lorsque nous planifions une évaluation, nous devrions toujours prendre en considération deux choses (parmi beaucoup d'autres) :

1) la complexité inhérente et irréductible de l'évaluand l, comme l'ont déjà souligné les interventions précédentes ;

2) le point de départ : quel est le niveau des données / informations / connaissances dont nous disposons sur le sujet au début de l'évaluation. La capacité de l'équipe d'évaluation à absorber et à synthétiser ces informations afin de mettre ses conclusions en perspective est essentielle pour la crédibilité de l'évaluation.

Khalid El Harizi

Consultant indépendant en évaluation

Je suis également d'accord. Il n'existe pas d'être humain ou de méthodologie parfaitement neutre, et si c'est ce que nous visons, nous sommes voués à l'échec.

Le mieux que nous puissions faire est d'essayer d'être conscient de nos propres partis pris, croyances et présupposés, d'être conscient des limites et des partis pris impliqués dans telle ou telle méthode, et d'essayer de gérer ces limites et ces partis pris.

Ainsi, au lieu de dire "des informations impartiales aideront à faire les corrections nécessaires", je dirais que pour qu'une évaluation soit crédible (et donc utile), toutes les parties prenantes doivent avoir confiance dans le fait que les évaluateurs et le processus sont ***raisonnablement*** neutres, c'est-à-dire qu'ils ne sont pas trop fortement influencés par une partie prenante particulière, qu'aucune partie prenante n'est marginalisée ou réduite au silence pendant le processus, et que les évaluateurs ne sont pas idéologiquement coincés dans un point de vue particulier mais gardent plutôt "un esprit ouvert" à l'égard de divers points de vue et interprétations. À mon avis, cela se rapprocherait davantage d'une norme d'indépendance de l'évaluation plus réalisable que l'objectivité parfaite.

Merci,

Olivier

Chers tous,

Merci pour les idées que vous nous avez transmises. Le fait que les évaluateurs soient physiquement et émotionnellement éloignés du projet (si vous proposez une personne extérieure pour évaluer) ne les rend pas forcément neutres, impartiaux et indépendants. Ce qui est peut-être plus important, c'est d'identifier des indicateurs objectivement vérifiables et d'utiliser la triangulation des données pour vérifier l'authenticité des informations générées et d'utiliser un mélange de méthodes qualitatives et quantitatives. 

Meilleur,

Bamlaku Alamirew Alemu (Ph.D), CIPM, PMP

Professeur associé 

Salutations !

Après les remarques lucides de Silva Ferretti, je ne peux que dire, je ne peux pas être plus d'accord.

A la vôtre !

Lal.

Souvent, les évaluateurs sont sélectionnés en raison de certaines relations et, une fois sélectionnés, ils espèrent l'être à nouveau à l'avenir. Dans un tel scénario, l'évaluateur s'efforcera de bien paraître afin de ne pas manquer les prochaines missions. Ce faisant, il/elle se compromet et cela affecte sa neutralité, son impartialité et son indépendance.   Vrai ou faux ?

1. La perception des bénéficiaires et des gouvernements des bénéfices attendus des résultats de l'évaluation peut compromettre les preuves, alors que s'ils perçoivent que cela peut nuire à l'image, ils minimisent les preuves s'il s'agit d'obtenir un soutien ou des ressources, ils peuvent les gonfler. 

2. La capacité des personnes chargées de la collecte des données peut également affecter la neutralité, l'impartialité et l'indépendance des données, en particulier dans le cas de la collecte de données qualitatives impliquant un approfondissement, lorsque la personne chargée de la collecte des données fait défaut.

Chère Malika,

Bien sûr, vos idées sont bonnes, mais n'oubliez pas que l'évaluateur est lié par les termes de référence, les valeurs fondamentales et les conditions pour les évaluateurs.

Toutefois, un évaluateur est tenu de recueillir des données avec impartialité et de comprendre chaque partie prenante impliquée dans le projet/programme, même si cela n'est pas facile. L'impartialité, l'équité et la transparence doivent caractériser l'évaluateur. L'indépendance et l'équité de l'évaluateur sont nécessaires et devraient guider tout le monde.

Sincères salutations,

Est-il vraiment utile de prétendre que nous pouvons être neutres et impartiaux ?

Ou est-il plus utile de reconnaître que nous sommes tous intrinsèquement biaisés (et que nos approches le sont)... et qu'il est alors préférable d'en être ouvert et conscient, ainsi que des limites inhérentes à toutes nos approches ?

Penser que nous pouvons disposer d'une information "parfaite", dans des contextes complexes et désordonnés, n'est probablement qu'un vœu pieux..... :-)

Chère Malika,

Je ne pourrais pas être plus d'accord avec les points que vous avez soulevés. L'indépendance et une couverture suffisante des données/informations sont essentielles pour une évaluation crédible. Mais le revers de la médaille est que les évaluateurs ne disposent généralement pas de suffisamment de temps/de jours et d'informations complètes (malgré les demandes) pour entrer en contact avec les parties prenantes, les bénéficiaires, les groupes comparables et les personnes potentiellement affectées négativement (cela manque sérieusement dans la plupart des évaluations) pendant l'évaluation. Ainsi, les processus d'évaluation ne sont pas responsables devant les personnes pour lesquelles les interventions sont prévues. 

Meilleures salutations,

-----------------------------------------

Ram Chandra Khanal

Chers Tous,

L’impartialité, la neutralité et l’indépendance de l’évaluateur sont des qualités toutes nécessaires en matière d’évaluation. L’idéal serait donc qu’elles soient toutes observées dans le processus d’évaluation. Malheureusement, elles ne nécessitent pas la même exigence ou ne sont pas toujours faciles à observer à tous les niveaux du processus. En effet, l’impartialité est applicable à tous les niveaux du processus d’évaluation: cadrage, planification de la collecte des données et informations, validation des outils de collecte, collecte des données et informations, analyse des données et informations recueillies, interprétation et commentaires des résultats, rapportage, restitution des résultats et recommandations. La neutralité quant à elle est nécessaire, mais elle mérite d’être intelligemment observée lors des entretiens afin d’éviter au maximum les informations biaisées et de mieux creuser les réponses reçues. L’étape de la collecte des données et informations demande en effet que l’évaluateur fasse intervenir ses connaissances antérieures et son expertise en la matière pour mieux comprendre les réponses et mieux collecter les informations. Ce serait donc une erreur d’enregistrer naïvement toutes les réponses fournies sans les approfondir si nécessaire. L’aspect le plus difficile à respecter lors de l’évaluation est l’indépendance de l’évaluateur. Il s’agit de l’indépendance administrative, politique et surtout financière. C’est cet aspect qui met sérieusement à l’épreuve le consultant, surtout si celui qui finance la mission d’évaluation a été un responsable direct de la mise en œuvre du projet et qui voudrait donc avoir coûte que coûte un bon résultat. Dans ces conditions, la tendance à faire pression sur le consultant est énorme. Ainsi, selon le degré de dépendance et la volonté de celui finance, dans certains cas malheureux, l’évaluateur peut être amené à réduire sa neutralité et son impartialité pour permettre la réalisation de la mission, s’il n’a pas envie d’abandonner carrément la mission.
 

Merci.

==========
Dr Ir. Emile N. HOUNGBO

Maître de Conférences des Universités (CAMES), Agroéconomiste

Directeur, Ecole d'Agrobusiness et de Politiques Agricoles, Université Nationale d'Agriculture, Bénin

Expert, Elaboration et suivi-évaluation des projets de développement

Membre, Communauté de pratique sur l’évaluation pour la sécurité alimentaire, l’agriculture et le développement rural (EVAL-ForwARD), FAO/CGIAR/PAM/FIDA

05 BP 774 Cotonou (Republic of Benin)

Tel. (229) 67763722 / 95246102
E-mail: enomh2@yahoo.fr

https://www.researchgate.net/profile/HOUNGBO_E

https://www.leabenin-fsauac.net/en/profiles/emile-n-houngbo/

« Le bonheur de ne pas tout avoir ».