Malika [user:field_middlename] Bounfour

Malika Bounfour

President
Association Ayur pour le Développement de la femme Rurale
Marruecos

I am a professional of, and passionate about, food production and plant protection. Also, I am an experienced project manager with track records working for government and private institutions in Morocco as well as development agencies (FAO).
I have an agriculture engineering degree in Morocco and a PhD in Entomology from WSU-USA and I am skilled in gender approach and policy evaluation.

My job and my volonteering activities led me to work and implement projects on women economic empowerment and gender issues. This is currently my main area of intervention.
You can also find me in
https://www.linkedin.com/in/malika-bounfour-79277140/

My contributions

  • How are mixed methods used in programme evaluation?

    Discussion
    • Gracias por plantear este tema de discusión, ya que la metodología suele determinar la calidad del informe de evaluación.

      A continuación, comparto algunos de mis puntos vista sobre los métodos mixtos por medio de diferentes ejemplos:

      1. Cuando se quiere medir la equidad y la igualdad, deben prevalecer los métodos cuantitativos, apoyados en métodos cualitativos para conocer las causas. Por ejemplo: qué porcentaje de la financiación se destina a cuestiones de género; cuántas niñas van a la escuela... cuántos kilómetros de carreteras rurales hay… seguido de un análisis de las políticas.
      2. Para medir el impacto de una intervención es necesario cuantificarlo y determinar los comportamientos que lo han intensificado/mermado.

       

      2. A la hora de desarrollar instrumentos de recopilación de datos para evaluaciones que utilizan métodos mixtos. ¿Los instrumentos se desarrollan al mismo tiempo o uno después de otro? ¿Cómo interactúan entre ellos?

      Lo ideal es tener todos los instrumentos preparados de antemano. Sin embargo, algunas herramientas cualitativas se pueden “mejorar”. Por ejemplo, en las entrevistas a informadores clave o en los grupos de discusión, las preguntas abiertas contribuyen a mejorar la recopilación de datos cualitativos cuando se obtienen/observan resultados inesperados.

      Comparto una publicación del Banco Mundial que describe situaciones en las que se utilizan métodos cuantitativos y cualitativos. Aunque se circunscribe a las evaluaciones de impacto, me parece útil para la mayoría de estudios/investigaciones.

      La evaluación de impacto en la práctica

      Un cordial saludo,

      Malika

    • Gracias a todos por vuestras interesantes aportaciones y puntos de vista. Parece que estamos de acuerdo en que la presentación de informes es el primer paso para la comunicación sobre los resultados. La mayoría de las veces, los informes son técnicos, con datos y resultados proyecto, con recomendaciones y lecciones aprendidas. A continuación, el comisario valida, comunica los resultados a todas las partes interesadas y elabora un plan de comunicación con un público más amplio.

      Aquí algunos puntos destacados de las participantes:

      Esosa Tiven Orhue sugiere crear armonía entre los dos elementos para la ejecución del programa/proyecto por todas las partes interesadas. Esto es posible si la comunicación sobre los resultados se incluye en la fase de diseño de la intervención.

      Para John, "se informa mucho, pero se comunica poco". Además, John sugiere que "nadie intervenga en la preparación y el diseño de proyectos hasta que no se hayan realizado al menos cinco años de seguimiento y evaluación".  El documento del PNUMA compartido por John contiene dos lecciones aprendidas relacionadas con nuestro debate. 1) La falta de apropiación y de una visión compartida debido a los insuficientes procesos de consulta a las partes interesadas durante el diseño conduce a un diseño deficiente del proyecto y, 2) la gestión ineficaz del proyecto incluye "una difusión y un alcance inadecuados debido al uso deficiente de los métodos de difusión disponibles". 

      La mayoría de las veces, la comunicación sobre los resultados y la evaluación del proyecto se dirige a las partes interesadas consultadas en las fases de diseño y ejecución. Suelen ser los socios ejecutores inmediatos (esfera de influencia).  Así, la esfera de interés suele quedar excluida, lo que provoca que no se produzcan cambios o, si se producen, no se documentan. El resultado (como dijo John) es que se pierden experiencias pasadas y se corre el riesgo de repetir los mismos errores.

      Lal está de acuerdo con John, mientras que Silva añade que "si nos ceñimos a los formatos de evaluación convencionales, puede que consigamos pequeñas mejoras, pero siempre nos perderemos el potencial de las evaluaciones, en un sentido más amplio". No puedo estar más de acuerdo con Silva, ya que considero a los evaluadores como agentes de cambio.

      Por último, Gordon sugiere que la comunicación sobre la evaluación y sus resultados se presupueste como parte del proyecto en su conjunto y corra a cargo de los comisarios y gestores del proyecto. 

      Si estamos de acuerdo en que las partes interesadas incluyen a los socios ejecutores directos del proyecto/programa (esfera de influencia), así como a la población afectada (beneficiarios previstos y no previstos), entonces las sugerencias de Esosa, John y Silva deberían tenerse en cuenta para una ejecución satisfactoria.

      A modo de resumen, el debate sobre si "la ayuda al desarrollo funciona" dura ya al menos una década. A la hora de trazar los resultados, debemos pensar en el cambio que queremos y, por tanto, comunicarnos con la población en el diseño, la ejecución y el cierre, y ofrecerles información sobre los resultados de la evaluación. Esto les capacitará y les dará la herramienta para aplicar el programa/proyecto. En consecuencia, en el diseño del siguiente programa, aportarán su perspectiva sobre las lecciones aprendidas de programas anteriores, evitando así repetir errores. De este modo, se evitarán actividades innecesarias y se fomentará la ejecución del programa. 

      Les deseo a todos un buen fin de semana

      Malika

       

      Enlaces: 

      1. Lessons Learned from Evaluation: 

      https://wedocs.unep.org/bitstream/handle/20.500.11822/184/UNEP_Evaluati…

      2. A Comparative Study of Evaluation Policies and Practices in Development Agencies

      https://www.afd.fr/sites/afd/files/imported-files/01-VA-notes-methodolo…

       

    • Gracias a todos por vuestras excelentes contribuciones.

      La mayoría de los participantes sugieren que los evaluadores deberían participar en la comunicación de los resultados, al menos formulando recomendaciones sobre mensajes y herramientas clave (por ejemplo, Norbert TCHOUAFFE TCHIADJE y Karsten Weitzenegger). Los mensajes y las recomendaciones se dirigen principalmente a los socios de la intervención y a los responsables de la toma de decisiones (por ejemplo, Aparajita Suman y Mohammed Al-Mussaabi). Los mensajes clave deben ser afinados por el evaluador (ex. Aparajita Suman, Karsten Weitzenegger y Jean Providence Nzabonimpa). 

      Emile Nounagnon HOUNGBO sugiere que "las partes interesadas, incluidos los gestores de proyectos, confían más en las conclusiones y afirmaciones técnicas del evaluador". Esto pone por delante la calidad de la evaluación y sitúa al evaluador como comunicador para validar los resultados y las recomendaciones de la intervención. Creo que si ampliamos la idea al gran público, las recomendaciones para un proyecto de desarrollo tendrán más posibilidades de aplicarse.

      La mayoría sugiere que se asigne un presupuesto específico a la comunicación. Este presupuesto debería ser gestionado por la entidad evaluadora (por ejemplo, Ekaterina Sediakina Rivière). Esto proporcionará flexibilidad a la hora de establecer prioridades en función del tipo de intervención, el público destinatario y el tipo de mensajes.

      Jean Providence Nzabonimpa describe a los evaluadores como agentes del cambio. Como tales, debemos ir más allá de la presentación de informes y contribuir al éxito de la aplicación de las recomendaciones. 

      En resumen, los evaluadores deben participar en las campañas de comunicación de las recomendaciones. Las unidades de evaluación deben asignar y gestionar un presupuesto específico. Éstas también deberían prever en los pliegos de condiciones la comunicación pública de los resultados de las evaluaciones y las recomendaciones.

      La justificación de lo anterior es que cualquier intervención afecta a los beneficiarios previstos y no previstos. Por lo tanto, en mi opinión, está justificado comunicar y organizar campañas de comunicación. Así, además de a los responsables de la toma de decisiones, es necesario informar y educar a los beneficiarios (previstos y no previstos) sobre los resultados de la evaluación y las recomendaciones. Esto debería garantizar la aplicación de las recomendaciones a escala.

      Los mensajes clave deben ser elaborados por los evaluadores, que también deben sugerir las herramientas y los idiomas, ya que conocen y comprenden la intervención, sus resultados y la audiencia.

      Malika

  • What type of evaluator are you?

    Discussion
  • How to define and identify lessons learned?

    Discussion
  • Evaluating agroecology: what is your experience?

    Discussion
    • Muchas gracias Seda por el interesante tema y por compartir la guía TAPE.

      La guía me parece muy completa y detallada. La herramienta también ofrece una definición de agroecología. Aprecio que se hayan tenido en cuenta las abejas y los polinizadores. 

      Desde un punto de vista técnico, tendría algunos añadidos personales:

      1. Combinaría las casillas de puntuación 0 y 1 para los cultivos (página 17). Si el cultivo cubre el 80% de la tierra, es un "monocultivo";

      2. Para la exposición a plaguicidas, creo que el evaluador debería examinar los plaguicidas almacenados en la explotación o en el territorio. Tanto las cantidades como los métodos de almacenamiento afectan al medio ambiente y a la salud. Por lo tanto, debería incluirse la gestión de los residuos;

      3. La microfauna del suelo es un indicador de la salud del suelo y debería tenerse en cuenta.

      Según mi experiencia, los agricultores y técnicos tienen en cuenta sobre todo la eficiencia en el uso del agua, la aplicación de pesticidas y fertilizantes (tipo y cantidad), la diversidad de cultivos y la gestión del suelo.

      Contribuí a una propuesta de evaluación de un proyecto en la que añadimos la capacitación de las mujeres (toma de decisiones) y el empleo de los jóvenes, así como los conocimientos tradicionales. El TAPE puede servir de referencia para separar las zonas/explotaciones en transición hacia la agroecología de las zonas/explotaciones en las que la agroecología está plenamente implantada.

      Con mis mejores deseos

      Malika 

  • Incluyo a continuación algunas de las ideas principales de la amplia variedad de experiencias y puntos de vista compartidos, junto con algunas reflexiones personales.

    ¿A qué nos referimos exactamente cuando hablamos de independencia?

    La discusión planteó preguntas muy claras sobre la definición. ¿Qué significa la independencia y qué implica? Un informe de 2016 del Programa de las Naciones Unidas para el Desarrollo (PNUD)[1] define la independencia de la evaluación como un “concepto dual: la independencia formal y la independencia sustancial. La independencia formal hace referencia a la ausencia estructural de control sobre la realización de una evaluación. La independencia

    • Estimados miembros,

      Gracias a todos por sus ideas y contribuciones. El debate ha reunido diferentes experiencias y puntos de vista, pero la mayoría parece estar de acuerdo con los principios básicos de la cuestión.

      Antes de continuar, explicaré mi punto de vista:

      Incluso en los experimentos de laboratorio en los que todas las condiciones están controladas, los científicos se permiten un nivel de error, pero intentan que sea el menor posible. Por lo tanto, no estoy hablando de un 100% de seguridad en los resultados con intervenciones humanas (seres complicados).

      Lo que saco de la discusión es que todos nos esforzamos por ser "objetivos e inclusivos "en la medida de lo posible. Esto último expresa nuestro "intervalo de confianza'' y los "grados de libertad".

      El debate aportó una amplia gama de temas relacionados con la independencia/ imparcialidad/ neutralidad de la evaluación. Desde la discusión de los conceptos hasta la sugerencia de metodologías de trabajo, los participantes enriquecieron el debate.

      Las diferentes contribuciones sacaron a relucir importantes factores que pueden influir en la independencia, neutralidad e imparcialidad de los evaluadores.  El Sr. Jean de Dieu Bizimana y el Sr. Abubakar Muhammad Moki plantearon la cuestión de la influencia del comisario de evaluación y de los términos de las referencias sobre estos conceptos. El Dr. Emile HOUNGBO aporta la dependencia financiera del evaluador, especialmente si la organización/equipo que financia la evaluación es también responsable de la ejecución de la intervención. El Sr. Richard Tinsley considera que, incluso cuando se dispone de fondos, los evaluadores pueden carecer de neutralidad para garantizar futuras asignaciones. El Sr. Tinsley puso el ejemplo de las organizaciones de agricultores que no desempeñan el papel previsto, pero que siguen presionando a los pequeños propietarios. Desde el punto de vista de Lasha Khonelidze, la "mentalidad abierta" del evaluador es importante para aportar diversos puntos de vista, pero igual de importante es garantizar que la evaluación sea útil para los usuarios finales (éstos deben definirse en los TdR).

      Sébastien Galéa sugiere que se trabaje en normas/estándares a nivel de la gestión de los programas sobre el terreno. También destaca la importancia del intercambio de información y experiencias entre pares en todo el mundo (ex EvalForward). Compartió con gracia un documento cuyo título indica claramente que el objetivo de la evaluación es obtener mejores resultados en el futuro, ya sea a través de intervenciones posteriores o de ajustes en la intervención evaluada. El documento también explica la independencia/imparcialidad desde la perspectiva del Banco Asiático de Desarrollo (BAD) y cómo esta organización trabajó sobre estos principios. En mi opinión, el documento de Weiss, compartido por la Sra. Umi Hanik, es un complemento. El documento de Weiss analiza el desarrollo, la ejecución y la evaluación de los programas. La idea principal es que los programas se deciden en función de un entorno político y, puesto que la evaluación está destinada a orientar la toma de decisiones, también comparte la presión de los participantes políticos en el programa. Así, para un participante en el programa, la aceptación pública es más importante que la relevancia del programa. Por lo tanto, creo que aquí es donde entra en juego la independencia/imparcialidad/neutralidad de la evaluación.

      Abubakar Muhammad Moki añadió que algunas empresas contratan a evaluadores que conocen, lo que confirma la Sra. Isha Miranda, que añadió que este hecho repercute en la calidad de la evaluación, lo que hace que disminuya la calidad de los informes de evaluación (argumento basado en pruebas) :) . El Sr. Olivier Cossee añadió que los evaluadores contratados deben ser "razonablemente neutrales". Creo que esto presiona al comisario de evaluación para que verifique/compruebe si los evaluadores son "razonablemente" neutrales e introduce otra variable: ¿hasta qué punto el evaluador es razonablemente neutral? (¿podemos remitirnos a los estudios de comportamiento?). Para la Sra. Siva Ferretti, las decisiones individuales del evaluador están influidas por su cultura y, por tanto, es difícil ser "realmente" inclusivo/neutral. El podcast compartido por la Sra. Una Carmel Murray da un ejemplo de inclusión de todos los participantes para diluir la subjetividad del investigador. Asimismo, el Sr. Abado Ekpo sugiere tomarse el tiempo necesario para integrar la lógica de los diferentes actores y comprenderlos para realizar una evaluación objetiva. Además, los señores Steven Lam y Richard Tinsley hablan de la importancia de la metodología a la hora de incorporar el interés de todos los participantes. El Sr. Lal Manavado resumió la reflexión en términos de responsabilidad ante los proveedores de fondos o los políticos o grupos sociales. Mi opinión es que hay que rendir cuentas a los objetivos del proyecto. ¿Se han alcanzado o no? si no, ¿por qué no? si se han alcanzado, ¿para quién?

      El Sr. Khalid El Harizi añadió que la disponibilidad de datos/información al inicio de la evaluación, así como la capacidad de los evaluadores para sintetizar los datos, son importantes. No obstante, hay que señalar que, incluso cuando los datos están disponibles, puede que los evaluadores no tengan fácil acceso a ellos. Así lo confirmó el Sr. Ram Chandra Khanal, que planteó la cuestión de que la falta de tiempo y el acceso limitado a la información sobre las partes interesadas afectarán a la recogida de datos.

      Este debate planteó claramente la cuestión de la definición de los términos. Como ya se ha dicho, hay que definir a los usuarios finales. También la Sra. Svetlana Negroustoueva pidió ejemplos para contextualizar el término de independencia. Además, el Sr. Thierno Diouf planteó la importancia de definir todos los términos debatidos desde la perspectiva de todas las partes interesadas y de los evaluadores. Estas definiciones deben quedar claras en las guías, estándares y normas. 

      El Sr. Diagne Bassirou habla de la pérdida de calidad y profundidad del análisis con "demasiada" objetividad, ya que el evaluador puede no conocer las condiciones sociodemográficas de la zona. Desde mi punto de vista, y como ha dicho el Sr. Lahrizi, hay datos/información disponibles (o deberían estarlo) al principio y el comisario debería ponerlos a disposición del equipo de evaluación. Mi experiencia es que siempre hay una reunión inicial en la que se discuten y aclaran estas cuestiones. La capacidad de analizar estos datos/información sería una cuestión de competencia del evaluador y no de su independencia o imparcialidad.

      En resumen, es posible alcanzar un grado relevante de imparcialidad/neutralidad en la evaluación, siempre que los términos de referencia sean claros, los datos estén disponibles y la independencia del evaluador esté garantizada mediante una financiación suficiente y una independencia administrativa. El evaluador necesita hacer un trabajo sobre sí mismo en términos de creencias, cultura y prejuicios. Los enfoques metodológicos podrían ayudar a revertir la posible imparcialidad.

      Tanto los financiadores como los gestores y evaluadores de los programas son responsables de los cambios producidos por las intervenciones. ¿Podríamos vincular esta reflexión a los costes y beneficios sociales de las intervenciones de desarrollo?

      Por último, esta es probablemente una "pregunta abierta" y podría llevar Por lo tanto, mantengamos la discusión abierta. 

      Algunos enlaces intercambiados:

      https://www.sfu.ca/~palys/Weiss-1973-WherePoliticsAndEvaluationMeet.pdf

      https://www.ecgnet.org/sites/default/files/evaluation-for-better-results.pdf

      https://disastersdecon.podbean.com/e/s6e2-researcher-positionality

      https://agsci.colostate.edu/smallholderagriculture/request-for-information-basic-business-parameters/.

    • Esimados todos, 
      Lo que medimos refleja nuestros valores y lo que nos importa. Estas son notas del artículo (en inglés) que he vuelto a compartir con vosotros como complemento a mi anterior mensaje. Además, el artículo sugiere que los impactos en los subgrupos deben reflejarse en las mediciones. Esto coincide con las recomendaciones de los participantes en nuestra reunión

      https://ssir.org/articles/entry/data_in_collective_impact_focusing_on_w…;

      Que tenga un buen día
      Malika

    • Hola a todos y gracias por este tema y por compartir sus reflexiones y enfoques. 

      Esto es paralelo a las discusiones mantenidas la semana pasada por la red francófona de evaluación en la FIFE2021. 

      Dicho esto, también creo que se trata más bien de una cuestión de metodologías para poner de manifiesto estos aspectos. Las organizaciones suelen establecer sus políticas para tener en cuenta el medio ambiente y el género en la programación y la evaluación. 

      También me gustaría compartir con ustedes que, como evento paralelo al Día Internacional de las Montañas, organizamos una reunión en torno al "olivo, la montaña y el medio ambiente". La principal y primera recomendación de los participantes fue considerar la planificación y el análisis social y paisajístico a varios niveles cuando se habla del entorno rural. Esto se debe a que las condiciones o resultados de la montaña (casi) desaparecen cuando se considera sólo la faceta rural para el desarrollo o la evaluación.

      Por lo tanto, un enfoque es considerar el análisis interseccional para la evaluación.

      Saludos cordiales 

      Malika 

       

    • Hola a todos,

      He intentado responder a todas las preguntas y mis respuestas están debajo de las preguntas formuladas. Se basan en algunas de mis experiencias con pequeños agricultores.

      1.Lograr un equilibrio entre la profundidad y la duración de las evaluaciones

      Los pequeños agricultores están muy ocupados, ya que necesitan encontrar fuentes de ingresos alternativas o complementarias. Además, el tiempo social es importante (bodas, hora del té, fútbol para los jóvenes, confección de alfombras para las mujeres...).

      Por lo tanto, el tiempo de evaluación debe adaptarse a su horario. Propongo cuestionarios cortos que sean significativos para ellos, lo que lleva a que el programa deba tener en cuenta sus necesidades reales y no 100% según las necesidades de la organización.

      • ¿Cómo se puede reducir la carga de trabajo de los pequeños productores durante los procesos de SyE?
      • ¿Cuáles son las mejores formas de incentivar a los agricultores para que participen en las encuestas (p. ej. incentivos no monetarios, participación en la elaboración de las encuestas y/o en la presentación de los resultados)?
      1. Haz que sea un momento social y habla de lo que es importante para ellos (por ejemplo, los cereales en las zonas de montaña). La hora preferida suele ser por la tarde. Por ejemplo, planificar la evaluación durante la hora del té y trabajar con el grupo objetivo. Si se prefiere el cuestionario, el evaluador necesitará más tiempo para adaptarse a cada agricultor;
      2. Permitir a las mujeres llevar niños pequeños (hasta 5 años) ;
      3. Dales información escrita sobre el programa. Lo guardarán y se lo enseñarán a sus hijos en la escuela;
      4. Ofrecer el almuerzo o la merienda con aperitivos.

      2. Hacer que los resultados de los procesos de SyE sean útiles para los agricultores

      - Al igual que en el caso de la evaluación, planifique los talleres de información fuera de temporada para no interrumpir el trabajo "real";

      - Proporcionar folletos, audios, vídeos y fotos;

      - Planifique sesiones de preguntas y respuestas.

      • ¿Tiene experiencia en comparar resultados entre agricultores de forma participativa? ¿Qué método ha utilizado para ello? ¿Fue eficaz?
      • ¿Cómo se pueden utilizar los resultados para la educación informal de los agricultores (p. ej. para sensibilizar y/o fomentar la capacidad sobre diferentes maneras de aumentar la sostenibilidad de las explotaciones agrícolas)?
      1. La comparación de los resultados entre los agricultores es eficaz para mostrar los resultados y conseguir que los agricultores adopten nuevas técnicas. Utilicé un enfoque de tratamiento/no tratamiento. El no tratamiento fue en realidad de los agricultores que no se adhirieron al programa. Una vez que los resultados fueron evidentes, pidieron ser incluidos.
      2. Los resultados podrían utilizarse en la educación no formal de los agricultores a través de visitas de intercambio entre pares, audios y vídeos distribuidos a través de la mensajería instantánea, presentaciones de los resultados durante las visitas de campo de los agentes de extensión.

      Malika Bounfour

    • Hola Comunidad,

      En primer lugar, me gustaría agradecerles sus contribuciones describiendo sus experiencias respectivas muy ricas y proponiendo enfoques e instrumentos para asegurar que el proceso de evaluación rápida responda a las expectativas.

      Las respuestas destacaron problemas comunes, a saber, el tiempo y los recursos necesarios para una evaluación rápida de los efectos de una intervención o de COVID 19. Esos recursos suelen ser mayores de lo previsto.

      La lentitud de la comunicación entre los diferentes socios y la disponibilidad de datos archivados y analizados también se plantean como factores importantes que frenan la aplicación de medidas rápidas.

      En cuanto a las soluciones y herramientas propuestas, Jennifer Mutua aconsejó prestar atención a los factores inesperados al estimar el presupuesto para la evaluación. Carolina Turano sugirió formas de mejorar la comunicación entre los asociados para agilizar el proceso. Elias SEGLA propuso herramientas de recopilación de datos y sugirió que el equipo de evaluación rápida fuera interno con su propio organigrama y modus operandi. La respuesta de Nayeli Almanza describe la metodología de recopilación rápida de datos para medir el impacto de COVID 19 en las poblaciones de migrantes y Aurélie Larmoyer da sugerencias prácticas para que los individuos y los equipos trabajen con el fin de reducir el tiempo dedicado a la elaboración del protocolo y las reacciones que a veces pueden ser decisivas para la intervención.

      En resumen, creo que 1) es necesario trabajar en el tiempo dedicato a la comunicación entre los socios durante el desarrollo del enfoque, así como en la retroalimentación y la reacción; 2) es necesario utilizar herramientas modernas, especialmente medios virtuales y teléfonos móviles; 3) el tema del presupuesto sigue siendo y podría requerir un trabajo innovador del equipo para optimizar los resultados dentro del presupuesto asignado.

      Por último, espero que esta pergunta de evaluación rápida reciba la atención que merece y se desarrolle especialmente durante esta crisis de COVID 19.

      Agradeciéndoles una vez más sus respuestas y referencias compartidas, quedo a su disposición para futuros intercambios sobre este tema.

      Atentamente

      Malika