Traitement automatique du langage naturel (TALN)

Objectifs

Concevoir des solutions, au niveau des algorithmes et des ressources, qui :

• Facilitent l’adaptation des GMLs, en particulier à l’intersection de domaines interdisciplinaires.
• Permettent des architectures modulaires afin de créer une diversité de solutions pour résoudre un problème donné.
• Favorisent l’intégration de connaissances diverses et spécialisées dans les modèles.
• Améliorent l’interprétabilité et la fiabilité des modèles.
• Préservent et documentent les langues autochtones et à faibles ressources tout en favorisant la compréhension des langues dans le contexte d’applications pertinentes pour les communautés autochtones.

Défis

Trouver une méthodologie permettant d’améliorer la robustesse des GMLs aux tâches, domaines, langues, cultures et autres variables : bien que les GMLs soient des agents généralistes capables de résoudre plusieurs tâches, ils sont souvent déployés dans de nouveaux domaines pour de nouvelles tâches. Pour plusieurs raisons, il n’est pas toujours possible de procéder à un réglage fin dans le nouveau domaine. Cette notion de nouveaux domaines peut être étendue à d’autres concepts, tels que les nouvelles langues, les nouvelles cultures ou même les distributions hors domaine.

Créer des designs modulaires pour les GMLs afin qu’ils puissent exploiter des agents, des API, des modules, des points de données et d’autres modèles spécifiques à une tâche et de créer des architectures réutilisables et interprétables : Les GMLs et les modèles de langue visuels (VLMs) peuvent être considérés comme des experts généralistes ou des experts centrés sur la tâche, spécialisés dans certaines modalités (langage, images, vidéos). Cependant, ils sont souvent présentés comme des modèles monolithiques difficiles à adapter ou à intégrer, ou qui ne permettent pas facilement une décomposition des processus de raisonnement.

Être capable de décomposer les connaissances requises pour une tâche, de réutiliser des informations fiables provenant de bases de connaissances externes, de concevoir des mémoires non paramétriques en tant que modules externes et de mettre en place des méthodes permettant de choisir de recourir à des connaissances paramétriques ou non paramétriques : l’un des éléments clés du succès des GMLs est l’information encodée dans leurs poids. Cependant, cette information paramétrique contribue également aux défis d’adaptation des GMLs et à leur non-modularité, car la elle mène à des fabulations, à des informations inexactes et obsolètes, à des résultats difficilement interprétables et à la nécessité d’entraîner périodiquement les modèles sur de nouveaux domaines et de nouvelles tâches.

Étudier les méthodes permettant d’améliorer la fiabilité des réponses générées par les GMLs et explorer la conception d’encodages interprétables et contrôlables : L’une des principales raisons soutenant la création d’architectures multi-agents modulaires ayant des mémoires externes est de pouvoir améliorer l’interprétabilité des résultats et la sécurité des GMLs, en plus d’offrir une interface homme-machine qui augmente la confiance du grand public envers les modèles d’IA.

Développer des techniques et des méthodologies pour les langues et les variations linguistiques autochtones, menacées et à faibles ressources afin de prévenir la perte de diversité linguistique et de promouvoir des outils informatiques accessibles et collaboratifs ayant pour but d’organiser, de gérer et de permettre des requêtes sur les données linguistiques relatives à ces langues.

Axes de recherche

Thème 1 : Adaptation et robustesse des GMLs

Ce thème étudiera l’adaptation de domaine augmentée par récupération et l’adaptation culturelle des GMLs et les VLMs.

• Axe 1 : Méthodes d’adaptation de domaine
• Axe 2 : Adaptation culturelle
• Axe 3 : Tests de performance

Thème 2 : GMLs modulaires

Ce thème se concentrera sur la composition, l’inférence et les méthodes d’apprentissage servant à exploiter la modularité dans les GMLs.

• Axe 1 : Intégration d’experts
• Axe 2 : Décomposition des tâches d’apprentissage
• Axe 3 : Diversité à travers les ensembles de GMLs

Thème 3 : GMLs et VLMs non-paramétriques 

Ce thème explorera comment les mémoires non paramétriques basées sur des bases de connaissances peuvent être conçues et exploitées pour fournir des informations actualisées, des capacités de recherche, d’édition et de mise en cache des informations, des capacités d’agrégation des informations pour les tâches qui nécessitent une combinaison de données provenant de différentes sources et des mécanismes d’interprétabilité pour les GMLs.

• Axe 1 : Structures de mémoire non-paramétriques pour les GMLs
• Axe 2 : Techniques de décomposition des tâches et d’intégration des connaissances
• Axe 3 : Développement d’un nouveau test de performance pour les GMLs

Thème 4 : Interprétabilité et sécurité des GMLs 

Ce thème vise à améliorer l’interprétabilité et la fiabilité des modèles d’apprentissage automatique et à concevoir de nouvelles méthodes d’interprétabilité pour les systèmes d’apprentissage automatique.

• Axe 1 : Incorporations de texte
• Axe 2 : Améliorer la fiabilité des GMLs

​​Thème 5 : Langues autochtones et à faible ressources 

Ce thème explorera les techniques et méthodologies à faibles ressources pour le traitement des variétés de langues et développera des bases de données génératives collaboratives pour les langues peu étudiées afin de promouvoir la diversité linguistique et de contrer la disparition de variétés de langues.

• Axe 1 : Adaptation entre les variétés de langues
• Axe 2 : Contexte culturel et social dans les GMLs
• Axe 3 : Intégration de connaissances pour la découverte linguistique

Impact anticipé

• Les GMLs et les VLMs sont largement utilisés dans de nombreux domaines de recherche. R3 vise à assister ces groupes de chercheuses et chercheurs afin de déterminer les critères de bonne performance ou d’utilité d’un GML pour leur ensemble de problèmes. Le succès du regroupement conduira à l’adoption généralisée des GMLs dans de nombreux domaines.
• La modularité permet à ceux qui disposent de ressources limitées (y compris les petites entreprises et les start-ups) d’apporter des contributions considérables aux systèmes de pointe en se concentrant sur la construction d’outils ou de modules spécifiques et en permettant l’exploitation de GMLs préformés existants. Elle permet également d’améliorer l’efficacité de l’entraînement et de réduire l’impact environnemental.
• Le R3 abordera directement les problèmes de fabulation d’informations en concevant des méthodes qui limitent à la fois les informations utilisables par un GML et les méthodes de génération des GMLs basées sur des mémoires non-paramétriques, pavant ainsi la voie vers des GMLs non-paramétriques.
• L’amélioration de l’interprétabilité et de l’explicabilité des modèles et des GMLs contribue à améliorer leur qualité (ex. : en comprenant leurs échecs actuels), leur utilité (ex. : en les rendant plus faciles à utiliser dans des domaines à enjeux élevés) et leur transparence.
• En collaborant avec les communautés qui travaillent à préserver et à faire revivre les langues menacées, R3 leur fournira les ressources nécessaires pour documenter et enregistrer leur langue, mais aussi pour concevoir des leçons à l’intention des générations futures.

Chercheuses et chercheurs

• David Adelani – Université McGill
• Aishwarya Agrawal – Université de Montréal
• Alan Bale – Université Concordia
• Sarath Chandar – Polytechnique Montréal
• Laurent Charlin – HEC Montréal
• Jackie Cheung – Université McGill
• Jessica Coon – Université McGill
• Aaron Courville – Université de Montréal
• James Crippen – Université McGill
• Joel Dunham – CircleCL
• Richard Khoury – Université Laval
• Leila Kosseim – Université Concordia
• Philippe Langlais – Université de Montréal
• Bang Liu – Université de Montréal
• Jian-Yun Nie – Université de Montréal
• Chris Pal – Polytechnique Montréal
• Fatiha Sadat – UQAM
• Jenneke van der Wal – Leiden University

Conseillère de recherche

Danielle Maia de Souza : danielle.maia.de.souza@ivado.ca