La inteligencia artificial en el contexto de la evaluación

I have not used in evaluation per se but used for literature review and other purposes. I am aware this will be a useful tool but not sure whether the information available or used by chat gpt is adequately represent the context and information for the developing countries like Nepal. I do hope - colleagues who have used the tool will be in position to share their experience.

I have been conducting simple thematic analysis in Chat-Gpt. I found it simple and supportive as compared to nVivo. 

He utilizado algoritmos de agrupamiento para separar datos satelitales y etiquetar las distintas regiones con los cultivos de cada una de ellas. El mayor desafío al que me he enfrentado al aplicar la IA es la disponibilidad de datos fiables sobre el terreno. Las típicas encuestas de evaluación no bastan para implementar la IA. En mi opinión, se necesitan conjuntos de datos “abiertos” a gran escala antes de que la IA tenga sentido.  

Estamos utilizando algoritmos de IA para detectar fugas en las redes de distribución. Que incluyen teledetección y análisis.

Hola a todos,

Como atestiguan las diversas contribuciones, evitar la IA es muy difícil en estos momentos, especialmente para las comunidades MEL. Así que ¡gracias por vuestras valiosas contribuciones!

Para los interesados en pasar a la acción, Ann Murray impartirá en abril una clase magistral sobre análisis cualitativo de datos, elaboración de informes y mucho más utilizando CHATGPT, Perplexity.ai y claude.ai. En resumen, cómo sacar el máximo partido de estas IA en un contexto de evaluación práctica. Este curso es de pago, y aquí está el enlace de inscripción  Ann-Murray Brown 🇯🇲🇳🇱’s Post 

Estoy de acuerdo contigo Lendsey.

Chat GPT todavía no es suficiente para dar una respuesta adecuada. En algunos casos es muy limitado con datos numéricos.
 

Buenas tardes,

Puedo darles un ejemplo concreto de nuestra iniciativa agrícola en el sur de Senegal, donde utilizamos drones para evaluar las prácticas agroecológicas.

Gracias a la IA, podemos analizar estas prácticas en profundidad: el dron equipado con cámaras que utilizamos recopila datos útiles sobre los cultivos mientras sobrevuela los campos. Este enfoque permite evaluar con precisión las actividades agrícolas, haciendo hincapié en la agroecología. Al observar las explotaciones familiares desde el aire, los drones proporcionan información crucial sobre los cultivos, el riego, la gestión del suelo y muchos otros aspectos. Esto nos ha permitido hacer una evaluación precisa de las diversas actividades agrícolas en el sur de Senegal, donde se hace hincapié en la agroecología. Los drones ofrecen una perspectiva aérea que puede confirmar si las prácticas agrícolas se ajustan realmente a este enfoque. Por tanto, los drones desempeñan un papel esencial en la evaluación de las explotaciones familiares y el fomento de la agroecología.

También existen aplicaciones muy eficaces que utilizan algoritmos de programación. Por ejemplo, en Senegal, en las explotaciones que he supervisado, los tiempos de fertilización y tratamiento están programados por una aplicación algorítmica muy eficaz que incluso te dice qué tipo de fertilización tienes que hacer, y luego durante la fase de cosecha te avisa con una evaluación precisa de las posibilidades de la cantidad de cosecha y de todos los gastos que hay que utilizar durante el periodo de cosecha. Envía recordatorios a nuestros ordenadores y teléfonos móviles. Es realmente práctico para optimizar las prácticas agrícolas y mejorar la eficiencia. Por eso me he matriculado en una universidad virtual de Senegal (desarrollo de aplicaciones web de juegos) en agronomía ¡desde 2022! Dentro de unos años, cuando haya adquirido los conocimientos necesarios, podré participar como agrónomo en el desarrollo de aplicaciones agrícolas.

¡Es realmente emocionante ver cómo la tecnología puede apoyar la agricultura sostenible!

Los avances en inteligencia artificial ofrecen numerosas oportunidades para mejorar nuestras actividades profesionales, también en el ámbito de la evaluación. He aquí algunos modelos de IA de uso común y sus posibles aplicaciones:

1. Aprendizaje automático: Este modelo permite a la IA aprender de los datos y tomar decisiones o hacer predicciones. Puede utilizarse en la evaluación de riesgos, la predicción del rendimiento, el análisis de datos de encuestas, etc.

2. Procesamiento del lenguaje natural: este modelo permite a la IA comprender y analizar el lenguaje humano. Puede utilizarse para analizar comentarios, extraer información de documentos, clasificar respuestas automáticamente, etc.

3. Visión por ordenador: Este modelo permite a la IA comprender y analizar imágenes y vídeos. Puede utilizarse para el análisis de imágenes de satélite, la detección de anomalías, la inspección de calidad, etc.

Para aprovechar eficazmente estos avances, he aquí algunos consejos:

1. Comprenda sus necesidades: identifique las áreas de su empresa en las que la IA puede aportar valor añadido. Identifique las tareas repetitivas, los procesos de recopilación y análisis de datos y las áreas en las que la IA puede ayudar a tomar decisiones más informadas.

2. Adquirir habilidades: Desarrolle sus habilidades en aprendizaje automático, procesamiento del lenguaje natural y visión por ordenador. Hay muchos recursos en línea, cursos de formación y comunidades para ayudarle a adquirir estas habilidades.

3. Colabore con expertos en IA: Trabaje con expertos en IA para desarrollar soluciones adaptadas a sus necesidades específicas. Pueden ayudarle a crear modelos de IA, recopilar y analizar los datos necesarios e interpretar los resultados.

Estimados colegas,

Muchas gracias Muriel por iniciar esta enriquecedora discusión. Gracias también a quienes han participado en la misma por sus valiosas contribuciones. 

En DevelopMetrics trabajamos mucho con la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) y otros donantes en la elaboración de modelos de lenguaje de gran tamaño para analizar evaluaciones y otros documentos con vistas a fundamentar la toma de decisiones.  Tras haber realizado múltiples estudios comparativos, hemos descubierto que la inteligencia artificial generalizada (p. ej. ChatGPT) no es una herramienta eficaz para comprender los matices de la terminología del ámbito del desarrollo.  Por ejemplo, si preguntan a ChatGPT qué intervenciones han obtenido mejores resultados a la hora de empoderar a las mujeres en Pakistán, se estarán apoyando en un modelo basado en todas las evidencias de Internet y una arquitectura de datos de Silicon Valley. Es decir, estarán alimentando sesgos ya existentes. De ahí que sea tan importante contar con modelos específicos para cada ámbito, revisados por expertos técnicos. 

Espero que mi contribución les resulte útil.

Un cordial saludo,

Lindsey

Lindsey Moore

CEO & Founder

+1 646-593-4568

www.developmetrics.com

Estimada Muriel, estimados colegas,

Muchas gracias por las preguntas y las contribuciones a esta discusión. Me gustaría compartir algunas experiencias de mi labor con una gran base de datos de miles de proyectos. Para extraer una cartera de proyectos para una evaluación de impacto se utilizaron algoritmos de aprendizaje automático, una rama de la inteligencia artificial (IA). 

Se adoptó un enfoque doble: por un lado, los expertos desarrollaron un algoritmo de aprendizaje automático y, por otro, se realizó una búsqueda semimanual. Con el primer enfoque, la cartera incluía menos proyectos de lo esperado, pero éstos eran muy precisos y estaban relacionados con el tema de interés. Sin embargo, la cartera era demasiado pequeña para obtener estadísticas sólidas. Con el segundo enfoque, la cartera tenía muchos más proyectos, pero hubo que quitar una gran parte de ellos, ya que guardaban poca relación con el tema en cuestión. Hubo que recurrir a un experto para definir las palabras clave y perfeccionar la cartera. Y fue necesario un experto en programación para desarrollar una aplicación personalizada. Las actividades posteriores fueron muy fructíferas gracias al procesamiento basado en el lenguaje y las evidencias disponibles en Internet (extracción de información de sitios web, incluidas redes sociales).

La metodología empleada planteó los siguientes desafíos:

• Sesgo lingüístico. El enfoque es más eficaz cuando el inglés es el idioma predominante (en los informes de los proyectos, los medios de comunicación y otros canales) y éste se utiliza de forma activa en el día a día. La complejidad semántica —que puede diferir mucho de un idioma a otro— requiere algoritmos diferentes, con niveles distintos de sofisticación. 
• Jerga del proyecto. Puede variar mucho de un proyecto a otro y algunas palabras de moda se pueden utilizar indistintamente. Además, los programas de los distintos donantes pueden estar redactados de forma diferente. Esto se debe de tener en cuenta a la hora de diseñar los algoritmos. Un proyecto se puede clasificar como climático, pero puede estar mucho más centrado en la ingeniería civil, el agua, los residuos, etc. Esto influye también en el funcionamiento de los algoritmos con la semántica relacionada.
• Disponibilidad de datos en Internet. Es más probable que haya más información sobre proyectos más recientes que sobre otros más antiguos. También puede haber una cantidad desproporcionada de datos, dependiendo del contenido generado y compartido por cada proyecto. 
• Fenómeno de la caja negra. En algún momento, los evaluadores pueden perder el control de los algoritmos. Esto puede plantear dificultades en materia de seguridad y gobernanza. 
• Arquitectura de la base de datos. Se debe tener en cuenta durante la fase de elaboración de conjuntos y bases de datos para la presentación de informes del proyecto. La estructura y el contenido de una base de datos —incluidos posibles errores como erratas— tienen una importancia fundamental para la eficacia del trabajo con IA. 
• Costes. Dado que el programa de código abierto entraña problemas de seguridad, invertir en el desarrollo de una aplicación personalizada y el apoyo de expertos en tecnologías de la información puede ser útil.

Como conclusión, creo que la IA puede ser muy útil cuando se dispone de grandes conjuntos de datos y carteras de proyectos para el análisis. Y cuando hay abundante información en Internet. Aunque la IA puede ser de gran ayuda, requiere conocimientos especializados y buenos sistemas de garantía de la calidad.

Me preocupan la privacidad y la seguridad. Si armonizar el enfoque en la cooperación internacional —en especial con proyectos de distintos donantes y diferentes sistemas jurídicos a nivel internacional y nacional, o incluso institucional— es ya de por sí difícil, alinear posturas en este ámbito se me antoja muy complicado. ¡Pero aun así debemos intentarlo!

Un cordial saludo,

Anna Maria Augustyn

Estimada Muriel, 

Muchas gracias por plantear un tema tan interesante. Tengo muchas cosas que decir, pero intentaré ser breve. 

Me gustaría compartir algunas cuestiones que me parecen muy interesantes. Espero que a ustedes también. No hay consenso entre los profesionales sobre la definición de inteligencia artificial (IA). Existen algunas definiciones genéricas y vagas, pero no hay una definición clara que utilice todo el mundo. Si nos atenemos a algunas de ellas, una calculadora podría ser IA, aunque la mayoría no la considere como tal.

Otra cuestión que me gustaría comentar es que la IA se basa en modelos de aprendizaje: en la capacidad de aprender y aplicar. Esto significa que debe haber una memoria de aprendizaje. En nuestro campo, esto resulta complicado, ya que la mayoría de datos que utilizamos se consideran altamente sensibles. Asimismo, no está claro/definido con quién(es) se pueden compartir, ni quien(es) es su(s) responsable(s). Esto es particularmente cierto en el caso de organizaciones o agencias que trabajan con gobiernos. 

También me gustaría subrayar la ausencia de regulación para la IA, que entraña un riesgo considerable. Esto nos lleva a algunas consideraciones éticas sobre la introducción de la IA:

• ¿Puede la población afectada dar su consentimiento para la utilización de sus datos para alimentar la IA?
• ¿Cómo se puede introducir la IA de forma segura en las organizaciones?
• ¿Dónde ponemos el límite y cómo aseguramos que no es vigilancia?
• ¿Cuáles son los riesgos de introducir la IA y quién(es) los asumirá(n)?
• ¿Qué hemos aprendido de experiencias anteriores?
• ¿Cuáles son las limitaciones de la introducción de la IA?

Además, deberíamos preguntarnos qué esperamos obtener realmente de la IA y si ésta es absolutamente necesaria. 

Hasta la fecha, diversas organizaciones han intentado adoptar con éxito algunas formas de IA de forma segura. Creo que también podemos aprender muchas cosas de estas experiencias. Algunos enlaces:

https://www.fao.org/agroinformatics/news/news-detail/fao--ai-and-digital-tools-for-climate-resilient-agri-food-systems--on-the-spotlight-at-the-science-and-innovation-forum-2023/en

https://www.fao.org/vietnam/news/detail-events/en/c/1187477/

https://dref.ifrc.org/fba/

https://jetson.unhcr.org

https://hungermap.wfp.org

Además, incluyo a continuación algunos artículos que me han resultado útiles para apoyar el pensamiento crítico. Espero que también les resulten útiles a ustedes. 

https://www.humanitarianstudies.no/resource/data-sharing-between-humanitarian-organisations-and-donors/

https://gh.bmj.com/content/7/Suppl_8/e007249

https://onezero.medium.com/are-aid-agencies-abetting-surveillance-humanitarianism-5bc2b5a78ff6

https://journals.sagepub.com/doi/full/10.1177/2056305119863146

https://international-review.icrc.org/sites/default/files/reviews-pdf/2022-02/biometric-data-flows-and-unintended-consequences-of-counterterrorism-916.pdf

https://journals.sagepub.com/doi/full/10.1177/2056305119863146#fn1-2056305119863146

https://www.thenewhumanitarian.org/news/2019/02/05/un-palantir-deal-data-mining-protection-concerns-wfp

¡Les deseo todo lo mejor en sus intrépidos esfuerzos!

Dear Aurelie,

My name is Pantaleon Shoki, and I have the honor of serving as the Executive Secretary of the Tanzania Evaluation Association (TanEA). I would like to share exciting developments in the realm of evaluation, particularly regarding the integration of Artificial Intelligence (AI) in our field.

The African Evaluation Association (AfrEA), a premier pan-African non-profit dedicated to enhancing evaluation practices continent-wide, is hosting an international conference. I am thrilled to announce that I will be presenting a paper titled "Revolutionizing Monitoring, Evaluation, and Learning (MEL) Systems Through Artificial Intelligence" at this prestigious event. The conference, themed “Technology and Innovation in Evaluation Practice in Africa: The Last Nail on the Coffin of Participatory Approaches?” promises to be a groundbreaking forum for professionals in our field.

As I prepare for this significant opportunity, I am in the process of seeking sponsorship to support my participation in the conference. Additionally, I am looking for avenues for future publication and partnership possibilities that align with our shared interest in leveraging AI for evaluation. To this end, I would be grateful for your assistance in identifying potential funding opportunities that could sponsor my paper presentation and mark the beginning of a promising collaboration in AI for Evaluation.

For colleagues and industry professionals interested in this innovative conference, I am pleased to share the registration link https://afrea.org/conference/ . Your support in exploring sponsorship possibilities would not only contribute to the success of my presentation but also pave the way for future collaborative endeavors in this dynamic field.

I look forward to the possibility of working together to advance the integration of AI in evaluation practices.

Warm regards,

Pantaleon Shoki, Executive Secretary of the Tanzania Evaluation Association

Estimada Muriel,

Estoy de acuerdo en que la inteligencia artificial (IA) tiene un gran potencial y plantea muchas preguntas para la evaluación.

En la Oficina de Evaluación del Programa Mundial de Alimentos (PMA) hemos procurado mejorar nuestra capacidad para obtener más evidencias y satisfacer así las necesidades de nuestros colegas. Los avances recientes en el campo de la IA nos ofrecen la oportunidad de cumplir este propósito. A continuación me complace compartir algunas experiencias y reflexiones sobre la labor que hemos realizado en este ámbito.

En primer lugar, hemos asumido que nuestra capacidad para aprovechar los conocimientos adquiridos en nuestras evaluaciones es limitada y no permite satisfacer todas las necesidades de aprendizaje de nuestros colegas. En gran medida, esto se debe a la gran cantidad de tiempo y esfuerzo que necesitamos para obtener y sintetizar evidencias sobre un determinado tema de interés.

De ahí que estemos trabajando en desarrollar una solución basada en la IA para automatizar la búsqueda de evidencias con herramientas de procesamiento del lenguaje natural. De forma similar a lo que hacemos cuando utilizamos un buscador en Internet, pretendemos formular consultas en lenguaje natural para encontrar evidencias relevantes. Aprovechando los avances tecnológicos más recientes en el campo de la IA generativa —como ChatGPT— la solución también podría crear contenido (p. ej. resúmenes) basado en la información obtenida.

Asimismo y, a fin de contribuir al análisis y la presentación de informes, esperamos que este proceso automático para obtener información pueda etiquetar documentos por sí mismo de forma más sistemática. También confiamos en que la IA nos permitirá sugerir contenido relevante para los usuarios sobre la base de su actividad, intereses y ubicación, al igual que hacen Spotify o Netflix.

Estamos intentando desarrollar una solución que ofrezca resultados precisos de búsqueda y pueda replicarse posteriormente para satisfacer necesidades similares.

Más allá de estos usos que estamos explorando específicamente en la Oficina de Evaluación del PMA, creo que la IA puede tener otros beneficios para la evaluación:

• Automatizar procesos rutinarios en las evaluaciones, como la síntesis de evidencias para generar resúmenes breves que pueden ser utilizados como datos secundarios.
• Mejorar el acceso a conocimientos u orientación y facilitar la recopilación de evidencias para la presentación de informes (p. ej. para informes anuales).
• Facilitar la elaboración de resúmenes y la identificación de patrones a partir de ejercicios de evaluación o examen.
• Mejorar la edición con herramientas automatizadas de revisión de textos que ayuden a pulir el lenguaje.

Espero que esta información sea útil. Estoy deseando conocer las experiencias de otros miembros. Todos estamos aprendiendo sobre la marcha y parece evidente que la IA —repleta de esperanzas y riesgos— nos hará salir de nuestra zona de confort.

Un cordial saludo,

Aurelie

Muchas gracias Muriel por plantear este tema, así como a los participantes en la discusión por sus contribuciones. Creo que la inteligencia artificial (IA) tiene características prometedoras para los evaluadores. Conocerlas es fundamental para nuestra labor. En mi caso concreto —y en el de otros profesionales con formación humanística— la posibilidad de realizar análisis cuantitativos rápidos e interactivos sin necesidad de dominar el lenguaje de programación en código abierto (p. ej. R o Python) constituiría un verdadero punto de inflexión.

Además, la capacidad de resumir textos extensos sin procesar —como transcripciones de entrevistas o grupos de discusión— y facilitar un análisis preciso de los puntos fundamentales permitiría ahorrar una cantidad significativa de tiempo. Sin embargo, es importante destacar que la experiencia y conocimientos de los evaluadores, las aportaciones de las partes interesadas y la percepción de la finalidad de la evaluación continuarán siendo cruciales y muy valiosos.

Por último, cabe señalar que, por muy poderosa que sea, la IA no resolverá dilemas éticos, ni adoptará decisiones sobre cómo presentar los resultados. 

Me encantaría que otros miembros compartieran ejemplos del uso de la IA en enfoques cuantitativos y cualitativos.

 

Dear Muriel,

Thank you for this very challenging and intelligent topic you pose to the group!

I will share my thoughts about the second question. With the development of AI we all (evaluators as well as all other workers) are challenged to provide relevant value through intelligent contributions to the task. So, from my perspective, we will have to sharpen our contributions to an evaluation process that possibly will be at least partially carried on by AI.

I will be paying attention to the contributions of our colleagues on AI models, types of activities to be applied to, and experiences.

Best regards

Vicente

Senior evaluation consultant

Saludos.

En primer lugar, la prudencia y el sentido común exigen que antes de aplicar una nueva tecnología a un campo determinado, en este caso la evaluación, se compruebe cuidadosamente lo siguiente:

1. ¿Existe una necesidad justificada para su uso? Recordemos que la mayoría de las evaluaciones se llevan a cabo en países menos ricos y, por tanto, menos avanzados técnicamente. Por lo tanto, el uso de esta supuesta "tecnología punta" puede hacer que los evaluadores de esos países dependan aún más de los "expertos" de las naciones ricas.
2. ¿Qué se supone que aporta exactamente la "IA" a la mejora de la evaluación?
3. Recurrir a la "IA" en la evaluación implica que hay escasez de inteligencia humana entre los evaluadores; cada evaluador debería considerar muy seriamente este aspecto de la cuestión.
4. Un examen detenido de las cuestiones anteriores no parece justificar la aplicación de la "IA" como herramienta complementaria útil en la evaluación, siempre que ésta se ocupe de determinar en qué medida un conjunto de acciones ha mejorado la existencia humana en un ámbito determinado.

Salud.

Lal Manavado.

AI has proven to be a powerful assistant for professional evaluators. However, it is essential to recognize AI as an assistant rather than a standalone solution. Some AI users tend to overly rely on it without applying critical thinking and human judgment, leading to subpar results. When used appropriately, AI can greatly enhance the evaluation process by automating tasks, analyzing large volumes of data, and providing valuable insights. It can assist evaluators in data collection, organization, analysis, and visualization, saving time and improving efficiency. AI's capabilities in text analysis and predictive analytics enable evaluators to uncover patterns, sentiments, and trends, supporting more accurate recommendations and decision-making. Nevertheless, it is crucial for evaluators to exercise caution and maintain a balanced approach. Human expertise, critical thinking, and contextual understanding are still vital in interpreting AI-generated insights and ensuring their validity. Evaluators must filter and validate AI-generated outputs, considering the limitations and potential biases of the algorithms.

As we embrace the era of Artificial Intelligence (AI), evaluators have a unique opportunity to leverage this technology to enhance their professional activities in several ways:

1. Data Analysis and Interpretation: AI tools can significantly improve data analysis by processing large datasets efficiently and identifying patterns or trends that might be overlooked by human analysts. Evaluators can use AI algorithms to analyze complex data sets from evaluations, surveys, or other sources, enabling more robust and insightful conclusions.
2. Predictive Modeling: AI techniques such as machine learning can be employed to develop predictive models for evaluating the potential outcomes of interventions or policies. By training models on historical data, evaluators can forecast future impacts with greater accuracy, aiding decision-making processes.
3. Natural Language Processing (NLP): NLP algorithms enable evaluators to analyze and understand unstructured textual data such as reports, reviews, or social media feedback. This capability can facilitate sentiment analysis, thematic coding, and synthesis of qualitative data, providing deeper insights into program effectiveness and stakeholder perspectives.
4. Automation of Routine Tasks: AI can automate repetitive tasks such as data cleaning, report generation, or scheduling, freeing up evaluators' time to focus on more strategic and analytical aspects of their work. By streamlining workflows, evaluators can increase productivity and efficiency.

To harness AI effectively, evaluators should consider the following strategies:

1. Continuous Learning and Adaptation: Stay informed about advancements in AI technologies and their applications in evaluation practice. Invest in training programs or workshops to build proficiency in using AI tools and techniques relevant to evaluation.
2. Collaboration with Data Scientists and Technologists: Foster interdisciplinary collaborations with experts in AI, data science, and technology. By partnering with professionals skilled in AI development and implementation, evaluators can co-design innovative solutions tailored to specific evaluation challenges.
3. Ethical Considerations and Bias Mitigation: Be mindful of ethical issues related to AI, such as data privacy, algorithmic bias, and transparency. Ensure that AI-driven evaluations adhere to ethical guidelines and principles, and actively address biases to maintain credibility and fairness.
4. Effective Communication of AI Insights: Develop skills in translating AI-generated insights into actionable recommendations for stakeholders. Communicate the limitations and uncertainties associated with AI-based analyses transparently, fostering trust and understanding among diverse audiences.

In addition to technical proficiency in AI, evaluators should cultivate a range of complementary skills to remain competitive and meet the evolving expectations of the field:

1. Critical Thinking and Interpretation: Sharpen analytical skills to critically evaluate AI-generated outputs and contextualize findings within broader evaluation frameworks.
2. Interdisciplinary Collaboration: Cultivate the ability to collaborate effectively with stakeholders from diverse backgrounds, including technologists, policymakers, and program implementers, to ensure that AI-driven evaluations address key priorities and perspectives.
3. Adaptability and Agility: Embrace a growth mindset and be willing to adapt to changing technological landscapes and evaluation methodologies. Stay agile in response to emerging challenges and opportunities presented by AI advancements.
4. Communication and Storytelling: Hone communication skills to effectively convey complex AI-driven insights to non-technical audiences. Develop the ability to craft compelling narratives that highlight the significance of evaluation findings and their implications for decision-making.