Utilisation de l'intelligence artificielle pour la recherche d'éléments de preuve en évaluation: l'expérience du PAM

Cet effort a notamment consisté à développer sa capacité à exploiter de manière plus efficiente et efficace les éléments de preuve contenus dans son portefeuille d'évaluation. Cela a naturellement conduit à considérer l'intelligence artificielle (IA) comme une option pour automatiser l'extraction de texte.

Constatant le fort intérêt suscité par l'IA, je partage quelques informations sur ce projet, qui débute, ainsi que des réflexions tirées de notre expérience jusqu’ici.

Pourquoi l'intelligence artificielle est-elle utile? 

La prise de décision fondée sur les preuves est essentielle pour de nombreuses organisations multilatérales telles que le PAM. L'évaluation est un fournisseur essentiel de preuves crédibles, générées par des équipes indépendantes et soutenues par des mécanismes solides d'assurance de la qualité.

Bien nos fonctions d'évaluation aient progressé sur ce terrain, il reste difficile de mettre pleinement à profit les éléments de preuve fournis par les évaluations. Les responsables de programmes souhaitant tirer des leçons de l'expérience des autres ont du mal à trouver les données probantes dont ils ont spécifiquement besoin et manquent de temps pour revoir des rapports longs et denses. Notre fonction elle-même se trouve limitée dans sa capacité de synthétiser ou résumer les preuves existantes lorsque cela est nécessaire, car l'extraction manuelle des preuves sur un sujet donné suppose un travail long et coûteux.

Pour relever ces défis et augmenter l'utilisation possible des connaissances générées par les évaluations, nous nous sommes attelés au développement d'une solution aiderait à mieux utiliser les données d'évaluation existantes en améliorant les capacités de recherche grâce à l'IA.

L’IA : une solution pour mieux utiliser les preuves existantes

Notre projet vise à utiliser les technologies de traitement du langage naturel (NLP, natural language processing) afin de développer une solution personnalisée qui permette à la fonction d'évaluation (puis, à son tour, à tout membre du personnel du PAM) d'extraire des données des rapports d'évaluation en utilisant la recherche automatique, un peu comme un moteur de recherche, type Google.

Au vu des avancées technologiques récentes dans le domaine de l'IA générative, telles que Chat GPT, cette solution pourra également produire de nouveaux textes, tels que des résumés.

L'automatisation de l'extraction de texte peut avoir d'autres avantages, tels que l'étiquetage automatique de documents pour faciliter l'analyse et les comptes rendus.

Enfin, avec l'IA, il est également possible de communiquer des éléments de preuve aux personnes selon leurs intérêts présumés, à l'instar de Netflix qui recommande des films personnalisés selon les goûts de chacun.

Quelques réflexions sur les risques et opportunités

Dans un domaine qui évolue très rapidement, des solutions plus performantes ou moins coûteuses apparaissent continuellement, et de ce fait nous avons opté pour l’adoption d’une structure modulaire, faite d’éléments indépendants qui peuvent être remplacés par d’autres plus pertinents et récents. Cette modularité est essentielle dans l’optique d’établir une solution qui puisse rester pertinente dans le temps. Et se donner la possibilité de toujours utiliser les modèles les plus récents et les plus performants est le meilleur moyen de relever un défi central : obtenir des résultats précis et ajustés à ce que l’on recherche parmi les évaluations. Un avantage supplémentaire est que cela réduit le risque de se retrouver enfermés avec des fournisseurs spécifiques.

L'interopérabilité avec d'autres systèmes et solutions est une autres caractéristique importante, qui permet de réduire le cloisonnement des connaissances et de soutenir notre ambition d’offrir un unique point d'entrée aux utilisateurs pour accéder aux données. Cela n’est pas sans défi, alors que tout un chacun développe sa propre solution…

Bien évidemment, la recherche d’éléments de preuve ne s'arrête certainement pas à l'évaluation. Gardant à l’esprit les potentiels avantages qu’il y aurait à répliquer un futur outil de recherche au travers des données à d'autres fins, cela a orienté certains de nos choix, comme par exemple une préférence pour la création de ressources renouvelables ou l'utilisation de modèles « open source ».

L’optique de pouvoir étendre l’utilisation de notre outil à d’autres domaines, pour offrir un unique point d’entrée aux utilisateurs, est aussi ce qui nous a encouragé à anticiper les risques liés à la protection des données, bien que les données venant des d'évaluation soient publiques. L'un des risques associés à l'utilisation des instruments d'IA générative notamment, tient à l'incertitude qui entoure la manière dont les données qui alimentent ces systèmes peuvent être utilisées. Au moment de travailler sur les solutions pilotes, des fonctions de ‘gardiens’ et des environnements informatiques isolés (type «bac à sable») sont nécessaires pour offrir des espaces «sûrs» pour les données.

Alors que les modèles d'IA se développent à un rythme soutenu, la fiabilité des résultats qu'ils fournissent reste inégale. Il faudra donc continuer à mettre l'accent sur une capacité d'extraction très performante, où il est possible de remonter à la source des preuves.

Réflexion sur le processus

En nous lançant dans cette nouvelle aventure, j'ai conscience de l'apprentissage considérable qu'il comporte. Deux domaines techniques tels que l'évaluation et les TIC (technologies, ingénierie et informatique) ont rarement eu besoin, dans une telle mesure, de se comprendre mutuellement pour garantir les progrès. C'est le début de ce qui mobilisera sûrement une part importante de notre attention au cours des années à venir: apprendre à explorer de nouveaux systèmes, de nouveaux termes, de nouvelles manières d'appréhender le monde et notre travail. Il sera crucial d'adopter cette transformation et nous devons donc nous y préparer!