RE: Artificial intelligence in the context of evaluation | Eval Forward

Estimada Muriel,

Estoy de acuerdo en que la inteligencia artificial (IA) tiene un gran potencial y plantea muchas preguntas para la evaluación.

En la Oficina de Evaluación del Programa Mundial de Alimentos (PMA) hemos procurado mejorar nuestra capacidad para obtener más evidencias y satisfacer así las necesidades de nuestros colegas. Los avances recientes en el campo de la IA nos ofrecen la oportunidad de cumplir este propósito. A continuación me complace compartir algunas experiencias y reflexiones sobre la labor que hemos realizado en este ámbito.

En primer lugar, hemos asumido que nuestra capacidad para aprovechar los conocimientos adquiridos en nuestras evaluaciones es limitada y no permite satisfacer todas las necesidades de aprendizaje de nuestros colegas. En gran medida, esto se debe a la gran cantidad de tiempo y esfuerzo que necesitamos para obtener y sintetizar evidencias sobre un determinado tema de interés.

De ahí que estemos trabajando en desarrollar una solución basada en la IA para automatizar la búsqueda de evidencias con herramientas de procesamiento del lenguaje natural. De forma similar a lo que hacemos cuando utilizamos un buscador en Internet, pretendemos formular consultas en lenguaje natural para encontrar evidencias relevantes. Aprovechando los avances tecnológicos más recientes en el campo de la IA generativa —como ChatGPT— la solución también podría crear contenido (p. ej. resúmenes) basado en la información obtenida.

Asimismo y, a fin de contribuir al análisis y la presentación de informes, esperamos que este proceso automático para obtener información pueda etiquetar documentos por sí mismo de forma más sistemática. También confiamos en que la IA nos permitirá sugerir contenido relevante para los usuarios sobre la base de su actividad, intereses y ubicación, al igual que hacen Spotify o Netflix.

Estamos intentando desarrollar una solución que ofrezca resultados precisos de búsqueda y pueda replicarse posteriormente para satisfacer necesidades similares.

Más allá de estos usos que estamos explorando específicamente en la Oficina de Evaluación del PMA, creo que la IA puede tener otros beneficios para la evaluación:

  • Automatizar procesos rutinarios en las evaluaciones, como la síntesis de evidencias para generar resúmenes breves que pueden ser utilizados como datos secundarios.
  • Mejorar el acceso a conocimientos u orientación y facilitar la recopilación de evidencias para la presentación de informes (p. ej. para informes anuales).
  • Facilitar la elaboración de resúmenes y la identificación de patrones a partir de ejercicios de evaluación o examen.
  • Mejorar la edición con herramientas automatizadas de revisión de textos que ayuden a pulir el lenguaje.

Espero que esta información sea útil. Estoy deseando conocer las experiencias de otros miembros. Todos estamos aprendiendo sobre la marcha y parece evidente que la IA —repleta de esperanzas y riesgos— nos hará salir de nuestra zona de confort.

Un cordial saludo,

Aurelie