À un niveau conceptuel, les modèles de langage à grande échelle (LLMs) transforment profondément le paysage des théories sur le langage humain, le cerveau et le calcul, ainsi que sur la nature de l’intelligence humaine. En linguistique, ils offrent une nouvelle manière de penser la grammaire, la sémantique et la représentation conceptuelle. En neurosciences, les modèles vectoriels proposent une nouvelle approche des modèles computationnels du cerveau. En sciences cognitives, ils remettent en question nos notions sur les éléments essentiels de l’intelligence humaine. De plus, les capacités remarquables des LLMs dépassent maintenant notre capacité à les comprendre scientifiquement. Le moment est propice pour rassembler un groupe de chercheurs interdisciplinaires qui étudient la linguistique, les sciences cognitives, les neurosciences, la théorie des LLMs et les applications des LLMs à la science pour explorer ce que nous pouvons tous apprendre des perspectives d’autrui. Par exemple, comment les comportements et les représentations neuronales des LLMs se comparent-ils à ceux des humains lors du traitement du langage? Comment comprenons-nous les mécanismes de traitement du langage dans les LLMs? Comment pouvons-nous mieux appliquer les LLMs de manière plus robuste et rigoureuse à des domaines scientifiques complexes?
Cet atelier sera exclusivement en anglais.
L’activité fait partie de la programmation du semestre thématique intitulé « Les grands modèles de langage et les transformeurs » organisé en collaboration avec le Simons Institute for the Theory of computing.
Des bourses de voyage sont disponibles pour assister à l’événement en Californie.
Les ateliers seront aussi disponibles en ligne et en direct (sur inscription seulement).
Coorganisation scientifique
Participants invités
Gasper Begus (UC Berkeley), Katherine Collins (University of Cambridge), Laura Gwilliams (Stanford University), Thomas Icard (Stanford University), Anya Ivanova (Georgia Institute of Technology), Hope Kean (MIT), Brendan Lake (New York University), Kyle Mahowald (UT Austin), Raphaël Millière (Macquarie University), Tom Mitchell (Carnegie Mellon University), Alane Suhr (UC Berkeley), Leslie Valiant (Harvard University), Alex Warstadt (UC San Diego), Ethan Wilcox (Georgetown University)
Progamme de l’événement
LUNDI 3 FÉVRIER 2025
8:45 – 9:15 : Accueil et café
9:15 – 9:30 : Mot d’ouverture
9:30 – 10:30 : Rules vs. Neurons and what may be next
Steven Piantadosi (UC Berkeley)
10:30 – 11:00 : Pause
11:00 – 12:00 : Neuroscience and AI: a symbiosis
Surya Ganguli (Stanford University)
12:00 – 13:45 : Lunch (non fourni)
13:45 – 14:45 : Learning a language like infants do: Results and challenges for
developmentally inspired AI
Emmanuel Dupoux (Laboratoire de Science Cognitive et Psycholinguistique)
14:45 – 15:00 : Pause
15:00 – 16:00 : How DeepSeek changes the LLM story
Sasha Rush (Cornell University)
16:00 – 17:00 Réception cocktail
MARDI 4 FÉVRIER 2025
9:00 – 9:30 : Accueil et café
9:30 – 10:30 : How Linguistics Learned to Stop Worrying and Love the Language Models
Kyle Mahowald (UT Austin)
10:30 – 11:00 : Pause
11:00 – 12:00 : Why it Matters That Babies and Language Models are the Only Known Language Learners
Alex Warstadt (UC San Diego)
12:00 – 13:45 : Lunch (non fourni)
13:45 – 14:45 : Neural algorithms of human language
Laura Gwilliams (Stanford University)
14:45 – 15:45 : Do LLMs Use Language?
Alane Suhr (UC Berkeley)
15:45 – 16:00 : Pause
16:00 – 17:00 : Discussion panel
MERCREDI 5 FÉVRIER 2025
9:00 – 9:30 : Accueil et café
9:30 – 10:30 : More accurate behavioral predictions with hybrid Bayesian-Transformer models
Brenden Lake (New York University)
10:30 – 11:00 : Pause
11:00 – 12:00 : Talk by
Mike Frank (Stanford University)
12:00 – 13:45 : Lunch (non fourni)
13:45 – 14:45 : Knowledge is structured and domain-specific: lessons from developmental cognitive science
Fei Xu (UC Berkeley)
14:45 – 15:45 : How do Transformers learn to encore variable bindings?
Raphaël Millière (Macquarie University)
15:45 – 16:00 : Pause
16:00 – 17:00 : Talk by
James Zou (Stanford University)
JEUDI 6 FÉVRIER 2025
9:00 – 9:30 : Accueil et café
9:30 – 10:30 : Interpreting LLMs to Interpret the Brain
Shailee Jain (UT Austin)
10:30 – 11:00 : Break
11:00 – 12:00 : Language and thought in brains: Implications for AI
Evelina Fedorenko (Massachusetts Institute of Technology)
12:00 – 14:00 : Lunch (non fourni)
14:00 – 15:00 : Dissociating language and thought in large language models
Anya Ivanova (Georgia Institute of Technology)
15:00 – 15:30 : Break
15:30 – 16:30 : AI safety via Inference-time compute
Boaz Barak (Harvard University)
VENDREDI 7 FÉVRIER 2025
9:00 – 9:30 : Accueil et café
9:30 – 10:30 : Building scalable systems for automatically understanding LLMs
Jacob Steinhardt (UC Berkeley)
10:30 – 11:00 : Pause
11:00 – 12:00 : Talk By
Naomi Saphra (Kempner Institute at Harvard University)
12:00 – 14:00 : Lunch (non fourni)
14:00 – 15:00 : The Cognitive Boundaries of Language Models: Hallucination and
Understanding
Santosh Vempala (Georgia Institute of Technology)
15:00 – 15:30 : Pause
15:30 – 16:30 : Talk By
Andrew White (FutureHouse)
