RE: Artificial intelligence in the context of evaluation | Eval Forward

Estimada Muriel, estimados colegas,

Muchas gracias por las preguntas y las contribuciones a esta discusión. Me gustaría compartir algunas experiencias de mi labor con una gran base de datos de miles de proyectos. Para extraer una cartera de proyectos para una evaluación de impacto se utilizaron algoritmos de aprendizaje automático, una rama de la inteligencia artificial (IA). 

Se adoptó un enfoque doble: por un lado, los expertos desarrollaron un algoritmo de aprendizaje automático y, por otro, se realizó una búsqueda semimanual. Con el primer enfoque, la cartera incluía menos proyectos de lo esperado, pero éstos eran muy precisos y estaban relacionados con el tema de interés. Sin embargo, la cartera era demasiado pequeña para obtener estadísticas sólidas. Con el segundo enfoque, la cartera tenía muchos más proyectos, pero hubo que quitar una gran parte de ellos, ya que guardaban poca relación con el tema en cuestión. Hubo que recurrir a un experto para definir las palabras clave y perfeccionar la cartera. Y fue necesario un experto en programación para desarrollar una aplicación personalizada. Las actividades posteriores fueron muy fructíferas gracias al procesamiento basado en el lenguaje y las evidencias disponibles en Internet (extracción de información de sitios web, incluidas redes sociales).

La metodología empleada planteó los siguientes desafíos:

  • Sesgo lingüístico. El enfoque es más eficaz cuando el inglés es el idioma predominante (en los informes de los proyectos, los medios de comunicación y otros canales) y éste se utiliza de forma activa en el día a día. La complejidad semántica —que puede diferir mucho de un idioma a otro— requiere algoritmos diferentes, con niveles distintos de sofisticación. 
  • Jerga del proyecto. Puede variar mucho de un proyecto a otro y algunas palabras de moda se pueden utilizar indistintamente. Además, los programas de los distintos donantes pueden estar redactados de forma diferente. Esto se debe de tener en cuenta a la hora de diseñar los algoritmos. Un proyecto se puede clasificar como climático, pero puede estar mucho más centrado en la ingeniería civil, el agua, los residuos, etc. Esto influye también en el funcionamiento de los algoritmos con la semántica relacionada.
  • Disponibilidad de datos en Internet. Es más probable que haya más información sobre proyectos más recientes que sobre otros más antiguos. También puede haber una cantidad desproporcionada de datos, dependiendo del contenido generado y compartido por cada proyecto. 
  • Fenómeno de la caja negra. En algún momento, los evaluadores pueden perder el control de los algoritmos. Esto puede plantear dificultades en materia de seguridad y gobernanza. 
  • Arquitectura de la base de datos. Se debe tener en cuenta durante la fase de elaboración de conjuntos y bases de datos para la presentación de informes del proyecto. La estructura y el contenido de una base de datos —incluidos posibles errores como erratas— tienen una importancia fundamental para la eficacia del trabajo con IA. 
  • Costes. Dado que el programa de código abierto entraña problemas de seguridad, invertir en el desarrollo de una aplicación personalizada y el apoyo de expertos en tecnologías de la información puede ser útil.

Como conclusión, creo que la IA puede ser muy útil cuando se dispone de grandes conjuntos de datos y carteras de proyectos para el análisis. Y cuando hay abundante información en Internet. Aunque la IA puede ser de gran ayuda, requiere conocimientos especializados y buenos sistemas de garantía de la calidad.

Me preocupan la privacidad y la seguridad. Si armonizar el enfoque en la cooperación internacional —en especial con proyectos de distintos donantes y diferentes sistemas jurídicos a nivel internacional y nacional, o incluso institucional— es ya de por sí difícil, alinear posturas en este ámbito se me antoja muy complicado. ¡Pero aun así debemos intentarlo!

Un cordial saludo,

Anna Maria Augustyn