Prenez-vous en compte les critères sociaux et environnementaux dans vos évaluations?

Prenez-vous en compte les critères sociaux et environnementaux dans vos évaluations?
12 contributions

Prenez-vous en compte les critères sociaux et environnementaux dans vos évaluations?

©Serge Eric Yakeu

Chers évaluateurs d'EvalForward,

Nous sommes tous conscients, il me semble, du fait que les activités de développement ont des effets environnementaux et sociaux inattendus et qu'il existe des interactions entre les facteurs sociaux et environnementaux. Les principales institutions et en particulier celles des Nations Unies réfléchissent à la manière d'intégrer les impacts environnementaux et sociaux dans leurs évaluations et à comment garantir leur inclusion quand les termes de référence ne les mentionnent pas. Il s'agit notamment:

  • des impacts environnementaux: changement climatique, sécheresses, inondations ou empreintes des projets, risques environnementaux et catastrophes;
  • des impacts sociaux: invalidité, populations autochtones, vulnérabilité, pauvreté, renforcement de la résilience, inclusion et cohésion sociale.

Dans ses efforts pour promouvoir la nouvelle façon de travailler (New Way of Working) dans le cadre de l'approche dite "approche de nexus", l'équipe de pays des Nations Unies au Soudan du Sud a par exemple accordé la plus grande attention à l'évaluation des facteurs environnementaux et sociaux de sa principale contribution aux bénéficiaires du pays. Cela comprenait: un soutien accru pour limiter les inondations et les sécheresses; l'amélioration de la production alimentaire des ménages et le renforcement des capacités pour absorber les chocs et s'adapter; la lutte contre la violence à l'égard des femmes; l'offre de services de santé essentiels rentables et à fort impact aux cibles les plus vulnérables qui ont subi les effets les plus forts du conflit dans le pays et le soutien à l'évaluation et au suivi de l'accessibilité et de la disponibilité des services de santé; l'assistance pour le redressement de l'économie à travers une approche globale afin de réinstaurer la confiance et la promotion de partenariats efficaces; le soutien au retour sûr, volontaire et digne des populations déplacées pour leur permettre de reconstruire leurs vies et favoriser le retour des activités productives (contribution principale du Cadre de coopération des Nations Unies 2019-2021 au Soudan du Sud)

  • Prenez-vous en compte ces aspects dans vos évaluations?
  • Quels sont les défis à relever à cet effet et comment pensez-vous que nous devrions les affronter en tant que communauté? 

J'espère entendre vos expériences et vos idées!

Serge Eric

Cette discussion est terminée. Veuillez contacter info@evalforward.org pour plus d'informations.
  • Chers collègues,

    C'est formidable de recevoir vos commentaires et vos contributions sur ce sujet intéressant. Je me fais l'écho de certains collègues pour dire que le facteur contextuel devrait toujours guider la prise en compte de ces deux domaines clés du développement, tant dans la conception que dans le processus d'évaluation. 
    Je suis heureux d'apprendre par Mme Rathner que le groupe de travail de l'ONU est sur le point de formaliser les directives de l'UNEG sur ce sujet important. 
    D'autres contributions et réflexions sont les bienvenues. 

    Joyeux Noël et bonne année à tous et à vos familles bien-aimées.

    Serge Eric 

    Serge Eric Yakeu Djiam, Ir., M.Sc., CE
    Credentialed Evaluator / Evaluateur AccréditéInternational Evaluation Expert & Visiting Professor Policy Evaluation Research & Rural Development Co-Chair, EvalIndigenous (EvalPartners Network) Vice-President, International Development Evaluation Association (IDEAS)
     

  • Martina Rathner

    Martina Rathner

    Principal Evaluation Specialist UNESCO

    Chers membres d'EvalForward,

    Le groupe de travail dédié à l'impact environnemental et social (ESI) de l'UNEG a réalisé un inventaire et une première évaluation des directives existantes des agences sur l'intégration des considérations environnementales dans les pratiques d'évaluation. Il en ressort que certaines politiques et directives des agences des Nations Unies intègrent déjà des considérations d'impact environnemental et social propres à chaque agence. Dans une prochaine étape, le groupe de travail envisage de formaliser des directives à l'échelle de l'UNEG. L'inventaire initiale peut être consultée ici : http://www.uneval.org/document/detail/2951 (en anglais).

    Meilleures salutations,

    Martina Rathner

     

     

  • Chers tous, 
    Ce que nous mesurons reflète nos valeurs et ce qui compte pour nous. Ce sont des notes tirées de l'article ci-dessous (en anglais) que je suis revenu partager avec vous en complément de mon message précédent. L'article suggère également que les impacts sur les sous-groupes doivent être reflétés dans les mesures. Ceci est en accord avec les recommandations des participants à notre réunion

    https://ssir.org/articles/entry/data_in_collective_impact_focusing_on_w…;

    Bonne journée
    Malika
     

  • Hello everyone and thank you for this subject and for sharing your thoughts and approaches. 

    This is parallel to the discussions held last week by the francophone network for evaluation at the FIFE2021. 

    That said, I also believe that it is more an issue of méthodologies  to bring out these aspects. Organisations usually set their policies to take into account environment and gender in programming and evaluation. 

    I also would like to share with you that as side event to the Mountain International Day, we organized a meeting around "the olive tree, the Mountain and the environment ". Main and first  recommendation by participants was to consider multi-level social and landscape planning and analysis when talking about rural setting. This is because mountain conditions or results (almost) disappear when considering only the rural facet for development or evaluation.

    Thus, one approach is to consider intersectional analysis for evaluation.

    Best regards 

    Malika 

  • Bonjour Serge et tous,

    Oui, j'essaie d'intégrer ces thèmes dans toutes les évaluations. Les clients sont souvent très ouverts à l'idée de savoir " pour qui " leurs programmes fonctionnent. Ces informations les aident à savoir si leur programme soutient différents groupes de personnes.

    En ce qui concerne l'environnement, il y a souvent un peu d'hésitation au début, car le lien entre les activités du programme et les implications environnementales peut être flou. Il se pourrait même qu'il n'y ait pas d'implications. Mais le fait de poser des questions sur l'environnement fournit un point de départ à la discussion.

    Comme l'a noté Silva, de nombreux efforts ont été déployés pour promouvoir la mesure des impacts sociaux. Le système de l'ONU le fait généralement en utilisant une optique de droits de l'homme et d'égalité des sexes (voir les lignes directrices éthiques de l'UNEG 2008 et l'UN-SWAP 2006). De nombreuses agences de l'ONU soulignent également cette nécessité dans leurs politiques d'évaluation.

    De même, il existe de nombreuses directives pour intégrer les considérations relatives à l'environnement et au changement climatique dans les programmes et les politiques (le PNUD a fait un inventaire en 2010). Les agences de l'ONU abordent généralement ce thème dans les documents d'orientation sur l'évaluation.

    Bien qu'il serait utile que les termes de référence posent des questions sur les impacts sociaux et environnementaux des programmes et qu'ils soient prévus dans le budget, je suis d'accord avec Silva pour dire que nous devrions plaider en faveur de ces éléments s'ils ne sont pas présents.

    L'un des défis auxquels j'ai été confronté au départ était de me demander "comment faire ?". Je suis en train de terminer ma thèse axée sur la réponse à cette question. En examinant les évaluations antérieures des programmes de sécurité alimentaire, j'ai trouvé de nombreuses preuves nous montrant comment, pourquoi et dans quel contexte nous devrions intégrer ces thèmes.

    Nous devrions nous engager dans les développements méthodologiques de la littérature et les essayer. Posez des questions telles que : comment les différents groupes vivent-ils ce programme ? Et comment le changement climatique a-t-il affecté les expériences des gens ? Partagez votre processus et vos apprentissages.

    Les évaluations peuvent jouer un rôle dans la promotion de l'équité et de la durabilité environnementale, et nous devons le faire.

    Steven

  • Dear all, 

    1. Social and environmental criteria includes items on gender and equity, gender based violence,  community resources use and management, partnerships and sustainability. 

    2. Our National Evaluation Standards for evaluation apply in areas of social and environment assessment. Copy attached. 

    3. Challenges are more in limited capacity to conduct social and environmental assessment, and limited available of data for use in social and environmental assessment. 

    4. The Uganda Evaluation Association promotes knowledge sharing on the matter. 

     

    Regarding the TORs, another practice is as follows :

    1. The client determines the ToR based on what the client and his or her stakeholders require

    2. The client looks for evaluators who can understand and execute the TOR

    3. The evaluator who thinks can understand and execute the TOR indicates expression of interest to execute the TOR

    4. When the evaluator is provided with chance to execute the TOR he or she writes an inception report showing what he or she has understood and how he or she will execute the TOR

    5. If the client is convinced with the inception report that the evaluator understood the TOR and can execute the TOR then evaluator is given the assignment

    6. The evaluator then executes the TOR based on the inception report agreement

    7. There is no room for the evaluator to maneuver the TOR but understand it and demonstrate the understanding in the inception report.

    Abu

    Uganda

  • Silva Je suis tout à fait d'accord avec vous pour commenter les termes de référence, dans la plupart des cas, si les attentes ne sont pas bien articulées par les deux parties, l'acceptation des rapports d'évaluation peut poser des problèmes.  Par conséquent, le rapport initial des commissaires devrait faire l'objet d'une discussion approfondie afin de dissiper tout malentendu concernant la mission.

     

  • Silva, je ne peux qu'approuver votre préoccupation quant au fait qu'une évaluation doit inclure l'évaluation des TDR. Je dirais que c'est la partie la plus importante d'une évaluation, car ce n'est que lorsque vous évaluez les TDR que vous pouvez fournir des conseils pour les projets futurs afin de mieux servir les bénéficiaires. Trop souvent, les évaluations, surtout lorsqu'elles sont internes, deviennent un outil de propagande pour promouvoir les TDR et le projet. Cela peut alors devenir un mauvais service pour les bénéficiaires visés, car cela renforce les TDR et les projets qui sont fondamentalement des échecs et n'apportent aucun bénéfice. Je pense que c'est le cas avec les 40 années de dépendance à l'égard des organisations de producteurs pour acheminer l'aide aux petits exploitants agricoles. Un examen attentif montrera que ces organisations sont un véritable scandale, qu'elles n'attirent qu'un très faible pourcentage des participants potentiels et que, même dans ce cas, les membres détournent la plupart de leurs affaires vers d'autres commerçants. Veuillez consulter les pages Web suivantes :

    https://agsci.colostate.edu/smallholderagriculture/mel-impressive-numbe…;

    https://agsci.colostate.edu/smallholderagriculture/appeasement-reportin…

    https://agsci.colostate.edu/smallholderagriculture/farmers-organization…

    Merci

  • Cher EvalForward 

    Salut !

    Si je passe en revue le sujet proposé concernant l'environnement, il est très important de rappeler et de rendre l'environnement progressif. L'environnement social est collectivement toutes les choses que l'homme a superposées sur la surface supérieure de la terre.

    Les principaux défis environnementaux sont nombreux et sont liés à la déforestation, à la dégradation des sols, à l'aridité croissante et au surpâturage, à la pénurie d'eau, à l'élimination des déchets, au changement climatique et aux services écosystémiques. Et selon mes évaluations, ces défis entraînent des tendances négatives en matière de pauvreté, de santé, d'économie et de résilience écologique et humaine.

    Si tous les aspects que j'ai mentionnés ci-dessus ne sont pas maintenus, l'existence de la vie humaine sera fortement menacée à l'avenir.

    Meilleures salutations

    Dr Said Hassan - Agronome 

  • Isha, vous mentionnez que "Nous, en tant qu'évaluateurs, sommes obligés d'exécuter dûment les TDR".

    Je pense qu'en tant qu'évaluateurs, nous devrions également remettre en question les TDR et les négocier !

    L'une des principales contributions que nous pouvons apporter est de proposer d'autres façons d'envisager le changement, au-delà des TDR "copier-coller" qui nous sont proposés.

    Certaines organisations et certains responsables de l'évaluation sont en fait très ouverts à cette idée.

    D'autres ne le sont pas.... et, si c'est le cas, eh bien... leur problème.

    Je ne voudrais certainement pas travailler sur une évaluation dont je pense qu'elle passe à côté de l'essentiel dès le départ :-)

     

    Vous voyez, comme les cyclo-activistes disent des automobilistes... "vous n'êtes pas DANS le trafic, vous ÊTES le trafic".

    En tant que consultants, nous avons le devoir de résister à des mandats dont nous savons qu'ils limitent l'apprentissage et la qualité du travail.

     

    Un autre point... J'ai été surpris par la façon dont la question nous a été présentée.

    La question dit : "Les grandes agences et l'ONU en particulier réfléchissent à la manière d'intégrer les impacts environnementaux et sociaux dans leurs évaluations".

    "Envisagent" ? Maintenant... les préoccupations environnementales sont (malheureusement) relativement nouvelles... mais les préoccupations sociales, le sont-elles vraiment ?

    Nous avons eu toutes sortes de thèmes transversaux pendant des années (genre, handicap et autres...).

    Je suis vraiment effrayé par la façon dont le "triple lien" (une version glorifiée du continuum secours/développement - discuté au cours des deux dernières décennies) et les "impacts sociaux" sont présentés comme s'il s'agissait de quelque chose de nouveau, nécessitant de partir d'une ardoise vierge.

    Il serait plus sain de souligner que ces préoccupations ne sont pas du tout nouvelles, sinon nous risquons de tourner en rond.

    Bonne continuation à tous

    Silva

  • Les problèmes sont les suivants : 

    Manque d'évaluation horizontale : le problème le plus courant dans les TDR est le manque d'évaluation horizontale. Il existe diverses lacunes dans le processus d'évaluation qui pourraient être comblées mais, au lieu de cela, les TDR demandent souvent de se concentrer sur leur question verticalement plutôt qu'horizontalement.
    En tant qu'évaluateurs, nous sommes tenus d'exécuter les TDR en bonne et due forme, ce qui entraîne les problèmes suivants :

    - Manque d'observation : nous devrions être en mesure d'utiliser à notre avantage les éléments externes importants qui ont pu influencer l'intervention. 

    - Manque d'outils d'observation, tels que des outils comportementaux pour les parties prenantes.

    - Manque dans les discussions de groupe : c'est-à-dire manque de temps et de préparation.

    - Lacunes dans les facteurs externes au programme.

    L'équipe d'évaluation a aussi souvent une compréhension insuffisante de la communauté, des sites de l'intervention : la plupart des évaluateurs arrivent sur le terrain avec des idées préconçues basées sur leurs expériences précédentes. C'est l'une des erreurs les plus graves que nous faisons. Je suis convaincue que des programmes comparables peuvent être confrontés à des obstacles, des méthodologies, des profils de bénéficiaires et des comportements différents, et que les variables temporelles doivent être prises en compte. Nous devons réfléchir à de nouvelles difficultés. N'utilisez pas toujours la même équipe.

    Voici quelques-uns des aspects sociaux et environnementaux qui doivent être inclus dans l'évaluation :

    Les moyens de subsistance doivent être évalués sur la base du sujet et du contexte local, par exemple la production agricole : l'évaluation doit examiner la collaboration et la cohésion du gouvernement ou de toute autre organisation, la capacité (par exemple, la logistique et les services gouvernementaux à la communauté : les installations de santé, l'éducation, les centres agricoles pour le plaidoyer, les collections de produits, la capacité des bénéficiaires, le développement de la capacité de collaboration) et les nouvelles connaissances sur les changements climatiques, l'atténuation des risques, les subventions gouvernementales (conseils, engrais, semences, technologie, etc.).

    Contribution des parties prenantes : Évaluer les connaissances des communautés et les actions liées à leurs moyens de subsistance. Lacunes en matière de cohérence, de connaissances techniques, de logistique (localisation et nouvelles technologies de développement des cultures), de connaissance des produits, d'informations sur le marché, de variables de prix et de contributions des intermédiaires du marché. En outre, il existe des interférences et des impacts politiques locaux.

    Parties prenantes (comportements des bénéficiaires) - Cohérence dans les domaines de production : aspects sanitaires (risques de bien-être, détérioration de la santé due aux épidémies, maladies infectieuses, abus familiaux et externes, niveaux d'éducation (formel, informel et subjectif), niveau nutritionnel de la famille (adultes et enfants).

    Gestion financière - Pauvreté : Réduction des pièges, des gains et des pertes, les femmes ont un meilleur accès à la microfinance au sein des familles et entre elles. Le crédit doit être ciblé sur les ménages à faible revenu, en particulier les femmes.
     

     

  • Bonjour Serge,

    Dans mon organisation, nous sommes confrontés au défi d'intégrer les deux aspects dans les évaluations de nos programmes, car traditionnellement ces domaines étaient abordés séparément. Nous avons constaté que nous ne pouvons pas séparer l'impact social d'une évaluation interne ou externe axée sur les résultats de nos interventions, y compris des dimensions jamais considérées auparavant. Par exemple, dans la phase finale d'une activité axée sur le renforcement des producteurs en matière de meilleures pratiques agricoles, nous élaborons les termes de référence d'une évaluation d'impact qui visera à inclure les perspectives de la participation de la main-d'œuvre migrante aux activités agricoles.

    D'après mon expérience, les principaux défis auxquels nous sommes confrontés sont liés à un manque d'expérience dans la transmission des aspects sociaux dans le cadre des approches rurales auxquelles nous sommes traditionnellement confrontés. Nous recherchons une évaluation interne par les pairs dans un premier temps, puis une évaluation externe avec des experts d'organisations sœurs.

    Je pense que l'intégration des deux perspectives doit faire l'objet d'une réflexion et d'un travail supplémentaires, mais c'est aussi une excellente occasion de collaborer avec nos pairs.

    Merci pour cet espace et ce post, meilleures salutations.

    - Nayeli