Merci pour vos questions et vos idées. Je souhaiterais partager quelques expériences vécues lors d'un travail sur une importante base de données (comprenant des milliers de projets) dont il fallait extraire un portefeuille pour une évaluation de l'impact. La méthodologie s'appuyait sur des algorithmes automatiques, qui constituent une branche de l'IA.
L'approche était double: 1) Un algorithme d'apprentissage automatique a été développé par des experts; 2) une recherche semi-manuelle a été réalisée. Dans le premier cas, le portefeuille a été plus petit que prévu, mais les projets étaient très précis et concernaient ce qui nous intéressait. Néanmoins, le portefeuille était trop restreint pour en extraire des statistiques solides. Dans la seconde approche, le portefeuille était beaucoup plus grand mais beaucoup de projets ont dû être retirés de l'ensemble des données car ils correspondaient de manière marginale à ce qui nous intéressait. Il a été nécessaire de recourir à un expert pour définir les mots clés et affiner le portefeuille ainsi qu'à un expert en programmation pour développer une application personnalisée. Les activités ultérieures qui se sont basées sur un traitement linguistique des projets et des preuves disponibles sur internet (mise au rebut du web, y compris les médias) se sont montrées très fructueuses.
Les difficultés méthodologiques suivantes ont été observées:
Un biais linguistique – l'approche se révèle plus efficace lorsque la langue dominante est l'anglais (dans les rapports du projet, les médias et les autres communications) et dans les pays qui l'utilisent activement dans la vie quotidienne. La complexité sémantique, qui peut différer considérablement d'une langue à l'autre, demande différents algorithmes, qui peuvent être plus ou moins sophistiqués selon les cas.
Le jargon du projet – il peut varier considérablement d'un projet à l'autre et certains mots-clés peuvent être utilisés de manière interchangeable. Les différents donateurs utilisent parfois également des formulations différentes dans leurs programmes, ce qui doit être pris en compte lors de la conception des algorithmes. Un projet peut être classé comme un projet relatif au climat bien qu'il soit beaucoup plus centré sur l'ingénierie de construction, l'eau, les déchets, etc., ce qui a également un impact sur la manière dont la machine travaillera en relation avec la sémantique.
La disponibilité des données sur internet – Il est probable qu'elle sera supérieure pour les projets les plus récents par rapport aux plus anciens. Elle peut aussi être disproportionnée, selon les contenus qui ont été produits et partagés par chaque projet.
Le phénomène de la boîte noire – À un moment donné, les évaluateurs peuvent perdre le contrôle des algorithmes. Cela peut poser des problèmes en termes de sécurité et de gouvernance.
Architecture de la base de données – Des dispositions doivent déjà avoir été prises au moment du développement des ensembles de données et des bases de données aux fins de l'élaboration des rapports lors de la mise en œuvre du projet. La structure et le contenu de la base de données, y compris les erreurs comme les fautes de frappe ont une importance considérable sur l'efficacité du travail recourant à l'IA.
Coûts – les logiciels libres posant des problèmes en matière de sécurité, il pourrait être utile d'investir dans le développement d'une application personnalisée et d'obtenir le soutien d'experts en technologie de l'information.
En conclusion, j'ai trouvé l'IA très utile là où des ensembles de données et des portefeuilles importants étaient disponibles pour l'analyse et où les données sur internet étaient abondantes. Elle peut apporter une aide considérable, mais elle nécessite également une bonne assurance de la qualité et une expertise spécialisée.
Je suis préoccupée par les questions de confidentialité et de sécurité dans l'utilisation de l'IA. Il est déjà difficile d'harmoniser l'approche dans la coopération internationale, en particulier pour des projets de différents donateurs et dans différents systèmes juridiques aux niveaux international, national voire institutionnel. Mais nous devrions essayer!
RE: Artificial intelligence in the context of evaluation
Chère Muriel, chers collègues,
Merci pour vos questions et vos idées. Je souhaiterais partager quelques expériences vécues lors d'un travail sur une importante base de données (comprenant des milliers de projets) dont il fallait extraire un portefeuille pour une évaluation de l'impact. La méthodologie s'appuyait sur des algorithmes automatiques, qui constituent une branche de l'IA.
L'approche était double: 1) Un algorithme d'apprentissage automatique a été développé par des experts; 2) une recherche semi-manuelle a été réalisée. Dans le premier cas, le portefeuille a été plus petit que prévu, mais les projets étaient très précis et concernaient ce qui nous intéressait. Néanmoins, le portefeuille était trop restreint pour en extraire des statistiques solides. Dans la seconde approche, le portefeuille était beaucoup plus grand mais beaucoup de projets ont dû être retirés de l'ensemble des données car ils correspondaient de manière marginale à ce qui nous intéressait. Il a été nécessaire de recourir à un expert pour définir les mots clés et affiner le portefeuille ainsi qu'à un expert en programmation pour développer une application personnalisée. Les activités ultérieures qui se sont basées sur un traitement linguistique des projets et des preuves disponibles sur internet (mise au rebut du web, y compris les médias) se sont montrées très fructueuses.
Les difficultés méthodologiques suivantes ont été observées:
En conclusion, j'ai trouvé l'IA très utile là où des ensembles de données et des portefeuilles importants étaient disponibles pour l'analyse et où les données sur internet étaient abondantes. Elle peut apporter une aide considérable, mais elle nécessite également une bonne assurance de la qualité et une expertise spécialisée.
Je suis préoccupée par les questions de confidentialité et de sécurité dans l'utilisation de l'IA. Il est déjà difficile d'harmoniser l'approche dans la coopération internationale, en particulier pour des projets de différents donateurs et dans différents systèmes juridiques aux niveaux international, national voire institutionnel. Mais nous devrions essayer!
Bien à vous
Anna Maria Augustyn