Utilizar la inteligencia artificial para buscar evidencias en evaluaciones: la experiencia del Programa Mundial de Alimentos

Entre otras cosas, esta iniciativa pretende fomentar la capacidad para extraer evidencias de su cartera de evaluaciones de forma más eficiente y eficaz. Como no podía ser de otra forma, para automatizar la extracción de texto se han explorado opciones basadas en la inteligencia artificial (IA).

En vista del gran interés que suscita la IA, me gustaría compartir información sobre lo pretendemos hacer, así como algunas reflexiones basadas en la experiencia que hemos acumulado hasta la fecha con nuestro proyecto de IA.

¿Por qué interesa la IA?

La toma de decisiones basada en evidencias es fundamental para muchas organizaciones multilaterales como el PMA. La evaluación proporciona evidencias creíbles, generadas por equipos independientes y respaldadas por mecanismos sólidos de garantía de calidad.

Aunque ha habido avances en las funciones de evaluación, aún sigue siendo complicado aprovechar los conocimientos que genera: los encargados de ejecutar programas interesados en aprender de las experiencias de otros no encuentran las evidencias concretas que necesitan con facilidad y carecen de tiempo para examinar informes densos y extensos. Además, nuestra propia función de evaluación tiene dificultades para atender solicitudes de síntesis/resumen de evidencias disponibles, ya que extraer conocimientos relevantes sobre un tema determinado es un proceso costoso y prolongado.

Para hacer frente a este desafío y facilitar el uso de los conocimientos generados por la evaluación, hemos estado trabajando en el desarrollo de una solución para generar contenido a partir de evidencias de evaluaciones por medio de un proceso de búsqueda mejorada con IA. 

Solución de IA para utilizar mejor las evidencias 

Nuestro proyecto pretende utilizar tecnologías de procesamiento del lenguaje natural para crear una solución a medida que permita a la función de evaluación (y, a su vez, a cualquier empleado del PMA) extraer evidencias de los informes de evaluación por medio de una búsqueda automatizada, de forma algo similar a una búsqueda en Google.

Aprovechando los avances tecnológicos más recientes en el campo de la IA generativa —como ChatGPT— la solución también podría crear contenido nuevo (p. ej. resúmenes).

Automatizar la extracción de texto puede tener ventajas adicionales, como el etiquetado automático de documentos para apoyar el análisis y la presentación de informes.

Por último, la IA también permite sugerir evidencias relevantes para los usuarios en función de sus intereses, al igual que Netflix recomienda películas basándose en los gustos de los espectadores.

Reflexiones sobre riesgos y oportunidades

En un campo que evoluciona con tanta rapidez, continúan apareciendo soluciones más económicas que ofrecen resultados más precisos. De ahí que adoptáramos una decisión importante: optar por una estructura modular, en virtud de la cual sus componentes independientes se pueden sustituir por elementos más pertinentes y actualizados. Por tanto, la modularidad es fundamental para que el sistema esté preparado para el futuro. Poder utilizar en todo momento los modelos más recientes y eficientes es la mejor manera de abordar el desafío fundamental de lograr un nivel elevado de precisión en la búsqueda de evidencias relevantes. Además, la modularidad tiene otra ventaja: reduce el riesgo de estar atado a proveedores concretos. 

La compatibilidad con otros sistemas y soluciones es otra característica importante, a fin de permitir el intercambio de conocimientos y contribuir al fin último de facilitar el acceso de los usuarios a las evidencias desde un único punto de entrada. Aunque es un desafío, ya que todo el mundo empieza a desarrollar su propia solución...

Y como buscar evidencias no se limita a la evaluación, tenemos presente que la solución se podría aplicar a otros fines además del uso de evidencias de evaluaciones. Esto ha influido nuestras decisiones en relación con determinados aspectos, como favorecer la creación de activos renovables y el uso de modelos de código abierto.

El interés por ofrecer una solución que en última instancia pueda integrarse en un único punto de búsqueda para los usuarios del PMA también nos hizo adelantarnos a cuestiones en materia de protección de datos, si bien las evidencias de las evaluaciones son públicas. De hecho, uno de los riesgos asociados al uso de herramientas de IA generativa es la incertidumbre en relación con el uso de los datos proporcionados. A medida que se desarrollan soluciones piloto, serán necesarios servicios de control de acceso a la información y entornos cerrados de pruebas (sandbox) para ofrecer espacios aislados y “seguros”. 

Aunque los modelos generativos de IA avanzan con rapidez, su fiabilidad continúa siendo irregular. Por lo tanto, el foco seguirá estando en garantizar que el proceso de extracción rastree el origen de las evidencias y genere resultados rigurosos.

Reflexiones sobre el proceso

Al embarcarnos en este nuevo periplo, me percato de lo mucho que deberemos aprender. Hasta la fecha, rara vez ha sido necesario que campos técnicos como la evaluación y la tecnología, la ingeniería y la informática se comprendan mutuamente para lograr avanzar. Éste es el comienzo de una camino que seguramente ocupará una parte notable de nuestra atención en los próximos años: aprender a navegar por nuevos sistemas, manejar términos inéditos, adaptarse a nuevas formas de comprender el mundo y nuestro trabajo. Aceptar esta transformación será fundamental. Debemos prepararnos.