Comment le cerveau et l’IA apprennent à raisonner : une perspective mécaniste

Après avoir exploré, lors du premier atelier, comment les mécanismes cognitifs peuvent guider et améliorer les capacités de raisonnement des systèmes d’IA, ce deuxième atelier s’est penché sur les fondements mécanistes du raisonnement chez les animaux, les humains et les systèmes d’IA. À travers une série d’exposés et de tables rondes, les participants ont examiné comment les approches mécanistes peuvent apporter un éclairage plus approfondi sur le comportement des modèles, les processus de raisonnement et les représentations qui se sont dégagées au cours de l’apprentissage. Les discussions ont également porté sur la manière dont les techniques traditionnellement utilisées pour étudier le comportement humain et animal peuvent être adaptées afin de mieux comprendre les systèmes d’IA.

Journée 1 – 24 février 2026

Irina Rish (Université de Montréal, Mila) – The Effects of Data Pruning, Representation Capacity, and Latent Trajectories

Irina Rish, professeure à l’Université de Montréal et à Mila, a ouvert l’atelier avec une conférence couvrant un large éventail de sujets, notamment les lois d’échelle, le raisonnement et l’apprentissage par renforcement, avec des applications en neuro-imagerie et dans les grands modèles de langue (LLM). Elle est revenue sur une question centrale posée lors du premier atelier thématique sur les bases cognitives du raisonnement : si les modèles de raisonnement tirent davantage profit de la qualité que de la quantité des chaînes de pensée (chain-of-thought, CoT), qu’est-ce qui détermine réellement la qualité d’un raisonnement ?

Ses travaux suggèrent que la curation rigoureuse des données joue un rôle crucial. En classant et en éliminant les données d’entraînement non pertinentes ou nuisibles, son équipe parvient à améliorer la robustesse des modèles et leurs performances en matière de raisonnement. Au-delà de la qualité des données, ses recherches commencent également à explorer la dynamique interne des modèles de raisonnement, en examinant l’évolution des représentations dans le temps et entre les couches.

Cette ligne de recherche soulève des questions scientifiques plus profondes : les modèles de raisonnement effectuent-ils effectivement une optimisation énergétique à plusieurs niveaux ? Et à quel stade de l’entraînement les capacités de raisonnement analogues au Système 2 commencent-elles à émerger ?

Siva Reddy (Université McGill, Mila) – The Next Frontier: Generative and Decodable Embeddings from Frozen LLMs

Siva Reddy, professeur à l’Université McGill et à Mila, a présenté de récentes avancées dans l’apprentissage d’enchâssements (embeddings) à partir de LLM. Bien que les méthodes non supervisées telles que LLM2Vec aient enregistré des progrès significatifs, un défi majeur demeure : des entrées diverses qui devraient correspondre à des significations similaires produisent souvent des représentations incohérentes, révélant un écart entre les entrées et les sorties. Pour y remédier, Siva et ses collaborateurs et collaboratrices ont proposé une approche novatrice : utiliser les réponses générées par le LLM comme entrées pour l’apprentissage des enchâssements, plutôt que de s’appuyer directement sur des textes rédigés par des humains. C’est ce qui a donné naissance à leur modèle, LLM2Vec-Gen. En ancrant les enchâssements dans les propres réponses du modèle, cette méthode permet le transfert du raisonnement et des connaissances entre des entrées sémantiquement différentes, tout en produisant des représentations plus interprétables et décodables. Enfin, Siva a souligné des parallèles conceptuels entre LLM2Vec-Gen et les architectures JEPA (Joint Embedding Predictive Architectures), suggérant un lien plus large entre les représentations génératives et les cadres d’enchâssement prédictifs.

Publication: LLM2Vec-Gen: Generative Embeddings from Large Language Models https://arxiv.org/abs/2603.10913v2

Claire Stevenson (University of Amsterdam): Fluid Reasoning Development: Comparing Mechanisms in Minds and Machines

En après-midi, Claire Stevenson, professeure à l’Université d’Amsterdam, a lancé la session avec une perspective stimulante sur le raisonnement fluide chez les humains et les systèmes d’IA. Elle a ouvert son exposé avec une analogie du slinky pour illustrer comment des systèmes peuvent à la fois généraliser face à de nouvelles situations et s’adapter rapidement à des contextes complexes, mettant en lumière des propriétés clés de l’intelligence flexible. En faisant dialoguer les théories psychologiques et neurocognitives, elle a discuté des données émergentes montrant que les LLM présentent une certaine convergence avec la cognition humaine dans les tâches de raisonnement abstrait.

Elle a ensuite introduit les vecteurs de fonctions (Function Vectors, FV) et les vecteurs de concepts (Concept Vectors, CV) — des représentations dérivées des têtes d’attention dans les réseaux de neurones. Tandis que les FV capturent des comportements fonctionnels, les CV se concentrent sur les têtes d’attention invariantes, leur permettant de représenter des structures plus abstraites et généralisables. Fait notable, ces deux types de vecteurs tendent à émerger dans des couches similaires du réseau, suggérant des mécanismes sous-jacents communs. Elle a enfin présenté des études montrant que les enfants comme les modèles d’IA traversent une transition développementale du raisonnement associatif vers le raisonnement relationnel. Cette bascule semble être portée par des changements dans l’attention, pointant vers un principe computationnel commun à l’émergence d’un raisonnement de niveau supérieur dans les systèmes biologiques et artificiels.

Siddarth Venkatraman & Sarthak Mittal (Université de Montréal, Mila): Deep Test-Time Thinking with Recursive Self-Aggregation

La dernière conférence de la journée a été présentée par Sarthak Mittal, doctorant à l’Université de Montréal et à Mila, qui a exposé un travail conjoint avec son collègue doctorant Siddarth Venkatraman sur le calcul au moment de l’inférence dans les LLM. Contrairement aux modèles classiques d’apprentissage automatique, les LLM peuvent effectuer des calculs substantiels au moment de l’inférence, permettant des comportements évocateurs du méta-apprentissage. Pour exploiter ce potentiel, ils ont introduit l’auto-agrégation récursive (Recursive Self-Aggregation, RSA), un cadre qui construit une chaîne parallèle de réponses au cours d’un processus de raisonnement séquentiel.

Inspiré des algorithmes évolutionnaires, RSA génère une population de réponses candidates et les affine de manière itérative par mutation, produisant un ensemble diversifié de solutions potentielles. Ces candidats sont ensuite agrégés, permettant au modèle d’améliorer progressivement son raisonnement.

Sur des benchmarks exigeants tels qu’ARC et FrontierScience-Olympiad, les modèles augmentés par RSA ont systématiquement obtenu de meilleures performances. Les auteurs et autrices ont également montré qu’encourager les modèles à agréger des solutions de référence lors de l’apprentissage par renforcement améliore encore leur robustesse.

Recursive Self-Aggregation Unlocks Deep Thinking in Large Language Models https://arxiv.org/abs/2509.26626

Journée 2 – 25 février 2026

Dhanya Sridhar (IVADO, Université de Montréal, Mila): Causal Representation Learning: A Natural Fit for Mechanistic Interpretability

Dhanya Sridhar, professeure à l’Université de Montréal et à Mila, ainsi que co-responsable du Regroupement de recherche IAR3 d’IVADO sur l’IA sûre et alignée, a lancé la deuxième journée de l’atelier en présentant les travaux de son laboratoire sur l’apprentissage de représentations causales. L’objectif de ses recherches est de développer des méthodes permettant d’interpréter un système complexe à travers des concepts compréhensibles par les humains. En s’appuyant sur l’exemple d’une architecture transformer effectuant de simples tâches arithmétiques, Dhanya a montré pourquoi la recherche naïve d’alignements est irréalisable.

Pour surmonter ces défis, ses collaborateurs et collaboratrices ont développé des méthodes faisant appel à l’apprentissage non supervisé (apprentissage sans étiquettes) et à des biais inductifs. Ensemble, ces méthodes ont permis un meilleur désenchevêtrement (disentanglement) lorsqu’appliquées à différentes architectures de base, telles que Qwen2 et Llama 3. Par ailleurs, la visualisation des représentations latentes en 2D a révélé des représentations clairement regroupées grâce à leur approche, suggérant que des représentations hautement nuisibles entraînent un comportement de refus dans les LLM.

Benno Krojer (McGill University, Mila): Interpreting the Relation Between Visual and Linguistic Representations in a VLM

Benno Krojer, doctorant à l’Université McGill et à Mila, a présenté ses récents travaux sur LatentLens, une approche pour interpréter les tokens visuels dans les grands modèles de langue. Il a commencé par souligner les principales limites des méthodes existantes, qui nécessitent souvent un entraînement supplémentaire, reposent sur des classes de sondes prédéfinies et offrent une compréhension limitée de la relation entre tokens visuels et enchâssements du modèle de langue. LatentLens répond à ces défis en exploitant des enchâssements contextuels pré-entraînés sur des corpus textuels et en les comparant aux représentations des tokens visuels via une approche par plus proches voisins (top-k nearest neighbor). Les correspondances obtenues sont ensuite utilisées pour générer des descriptions significatives des tokens visuels. Fait important, contrairement aux méthodes antérieures, LatentLens permet l’interprétation à travers différentes couches et se généralise à plusieurs modèles, offrant un cadre plus flexible et évolutif pour comprendre les représentations multimodales.

LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs : https://arxiv.org/abs/2602.00462

David Klindt (Cold Spring Harbor Lab): Identifying the Atoms of Meaning in Biological and Artificial Visual Processing

Les sessions de l’après-midi à Mila ont repris avec David Klindt, professeur adjoint au Cold Spring Harbor Laboratory à New York (États-Unis), qui a présenté ses travaux sur l’hypothèse de représentation linéaire. Il a exploré pourquoi les réseaux de neurones ont tendance à représenter les concepts de manière linéaire, en partant de la notion d’identifiabilité. Il a ensuite introduit un cadre permettant d’atteindre l’identifiabilité en apprenant des correspondances entre les états de l’environnement et les observations, et entre les observations et la dynamique sous-jacente des états. Ses résultats ont notamment montré qu’analyser l’activité au niveau des populations neuronales, plutôt que neurone par neurone, révèle des caractéristiques plus interprétables et diversifiées.

Ida Momennejad (Microsoft Research NYC): The Compositional Geometry of Open-Ended Reasoning

Ida Momennejad, chercheuse scientifique à Microsoft Research NYC, a conclu la journée avec une conférence sur la façon dont l’intelligence ouverte repose sur le raisonnement compositionnel et des blocs de construction réutilisables. Elle a mis en avant ses travaux antérieurs sur les représentations successives (Successor Representations), qui s’alignent étroitement avec la façon dont les humains apprennent et planifient. Elle a ensuite présenté CogEval, un cadre d’évaluation des LLM inspiré des sciences cognitives, montrant que les LLM peinent dans les tâches basées sur des graphes comportant des goulots d’étranglement où les erreurs sont peu tolérées. Elle a conclu en soulignant la nécessité d’architectures capables de recombiner les connaissances dans des contextes variés, en s’inspirant de la façon dont les humains explorent et apprennent dans des environnements ouverts.

Articles: Evaluating Cognitive Maps and Planning in Large Language Models with CogEval, A brain-inspired agentic architecture to improve planning with LLMs https://doi.org/10.1038/s41467-025-63804-5

Table ronde et discussion :

Les systèmes d’IA modernes s’appuient de plus en plus sur le raisonnement par chaîne de pensée, mais dans quelle mesure cela se compare-t-il au raisonnement humain ? En quoi ces processus computationnels diffèrent-ils de ceux du cerveau ? La table ronde a également soulevé des questions intéressantes sur la validité du raisonnement latent, qui, contrairement à la chaîne de pensée, se déroule dans les états cachés internes des LLM plutôt qu’à travers des sorties textuelles explicites. Étant donné que les LLM sont entraînés selon des régimes variés, du pré-entraînement non supervisé au fine-tuning, une question ouverte importante est de savoir comment apprendre des représentations invariantes qui restent adaptables et généralisables à différents contextes. Bien que stimulante, la table ronde a reconnu qu’il n’existe pas de solution simple à ce défi.

Plus largement, alors que le raisonnement devient central au succès des LLM, comment en évaluer la qualité ? Quelles sont les bonnes métriques ? Dans quelle mesure la logique formelle sous-tend-elle un raisonnement efficace ? Les systèmes devraient-ils avoir le droit de commettre des erreurs et de s’en remettre dans le cadre du processus de raisonnement ? Enfin, comment trouver le juste équilibre entre efficacité des données et robustesse du raisonnement ?

Journée 3 – 26 février 2026

Ila Fiete (MIT McGovern Institute): Associative and Episodic Memory from Pre-Structured Spatial Scaffolds in the Hippocampus

Ila Fiete, professeure au Massachusetts Institute of Technology, a ouvert la troisième journée en présentant les récents travaux de son laboratoire sur les structures modulaires dans l’intelligence biologique. Elle a commencé par souligner une limite importante des modèles de mémoire adressable par le contenu (content-addressable memory) traditionnels : leurs performances se dégradent significativement à mesure qu’augmente le nombre de patterns stockés. Pour y remédier, son équipe s’est inspirée du cortex entorhinal et de l’hippocampe pour concevoir un système de mémoire plus structuré. Cette approche à inspiration biologique démontre une dégradation des performances réduite à grande échelle, permet une détection de familiarité en zéro-shot et montre une robustesse accrue face à l’oubli catastrophique.

Article: Episodic and associative memory from spatial scaffolds in the hippocampus https://doi.org/10.1038/s41586-024-08392-y

Uri Hasson (Princeton University): Deep Language as a Cognitive Model for the Development and Processing of Natural Language

Uri Hasson, professeur au département de psychologie de l’Université Princeton, a débuté en explorant une question fondamentale : quel est le niveau d’abstraction approprié pour modéliser la cognition dans le cerveau ? Il a mis en contraste deux grandes perspectives théoriques : l’une fondée sur des structures à base de règles telles que la grammaire universelle, l’autre sur l’apprentissage statistique par prédiction du mot suivant. Plutôt que de privilégier l’une ou l’autre, les données scientifiques existantes suggèrent que le cerveau intègre vraisemblablement les deux approches. Toutefois, les modèles mécanistes unifiant ces perspectives restent limités. En s’appuyant sur de vastes ensembles de données sur la parole et le langage humain, Hasson et ses collaborateurs et collaboratrices ont montré que les réseaux de neurones entraînés sur ces données présentent des parallèles frappants avec l’activité cérébrale, des correspondances linéaires simples révélant de fortes corrélations entre les enchâssements des réseaux de neurones et les représentations neuronales dans le cerveau.

Stephanie C.Y. Chan (Google DeepMind): Connecting Perspectives on Dynamical Phenomena in Transformers

En après-midi, Stephanie Chan, chercheuse scientifique à Google DeepMind, a repris la session avec une conférence sur les phénomènes dynamiques dans les architectures transformer. Elle a commencé par souligner une observation frappante : certains comportements de ces modèles semblent émerger soudainement au cours de l’entraînement. Ces améliorations peuvent toutefois être transitoires, s’estompant ou disparaissant peu après leur apparition. Pour mieux comprendre ce phénomène, elle a présenté trois perspectives complémentaires. La première porte sur la régularisation, montrant que la régularisation L2 peut réduire la transience des comportements d’apprentissage en contexte. La deuxième examine le problème sous l’angle des circuits, illustrant comment les transitions de phase dans le paysage de perte sont associées à l’émergence de circuits dits « induction head ». La troisième perspective met en avant le rôle des données, suggérant que les comportements émergents peuvent être prédits à partir de propriétés telles que la répétition en contexte et la répétition inter-échantillons.

Articles présentés lors de l’atelier: The Transient Nature of Emergent In-Context Learning in Transformers, Strategy Coopetition Explains the Emergence and Transience of In-Context Learning, An evolutionary perspective on modes of learning in Transformers https://arxiv.org/abs/2311.08360

Nino Scherrer (Google): Uncovering Mesa-Optimization Algorithms in Transformers & Building a Layer for Optimal Test-Time-Training

Nino Scherrer, chercheur scientifique chez Google, a présenté de récents travaux sur la compréhension de la méta-optimisation (mesa-optimization) dans les modèles transformer. Il a commencé par souligner un lien croissant entre l’apprentissage en contexte et l’optimisation par gradient, suggérant que les transformers peuvent implémenter implicitement des algorithmes d’apprentissage au moment de l’inférence.

À partir d’un modèle simplifié à titre d’exemple motivant, il a introduit MesaNet, une variante de l’architecture transformer dans laquelle un optimiseur de base donne naissance à un « méta-optimiseur » interne. Ce dispositif permet au modèle d’apprendre effectivement à apprendre au cours de sa passe avant. Plusieurs propriétés intrigantes ont émergé de ce cadre : les prédictions du modèle s’améliorent avec des séquences d’entrée plus longues, certains sous-ensembles de poids présentent des motifs parcimonieux et structurés, et des informations sur les entrées passées peuvent être décodées à partir des représentations actuelles.

Dans la deuxième partie de la conférence, Scherrer a discuté de la façon dont MesaNet peut être mis à l’échelle pour des configurations plus importantes. Il a notamment montré que combiner l’auto-attention linéaire avec des techniques de préconditionnement permet un entraînement plus efficace et stable, rendant l’approche plus praticable pour les modèles transformer réels.

Paper: MesaNet: Sequence Modeling by Locally Optimal Test-Time Training https://arxiv.org/abs/2506.05233

Guillaume Lajoie (IVADO, Mila, Université de Montréal, Google): In-Context Processing and Occam’s Razor: Learning the Best Models by Thinking on the Fly

Guillaume Lajoie, professeur agrégé à l’Université de Montréal, à Mila et à IVADO, a conclu la journée avec une conférence sur l’apprentissage en contexte, en se concentrant sur la façon dont les systèmes peuvent effectuer une attribution de crédit sans recourir à la plasticité synaptique. Établissant des parallèles entre neurosciences et IA, il a mis en lumière comment le cerveau pourrait soutenir l’apprentissage par l’activité seule, sans mise à jour des poids — une idée reflétée dans des techniques telles que le chain-of-thought prompting et l’ingénierie des prompts. Cette distinction peut être formulée comme un apprentissage dans les poids (in-weights learning, mises à jour des paramètres lors de l’entraînement) opposé à un apprentissage dans les activations (in-activations learning, adaptation par les activations internes au moment de l’inférence), où le premier construit en effet un optimiseur pour le second. La conférence s’est concentrée sur la façon dont la plasticité et les mécanismes pilotés par l’activité interagissent pour soutenir un apprentissage d’ordre supérieur, en soulignant deux ingrédients clés : les mécanismes au niveau des circuits qui permettent un apprentissage guidé par l’entrée, et les processus de méta-apprentissage qui permettent aux modèles d’apprendre à apprendre en contexte.

Discussion

La discussion entre les participantes et participants, Guillaume et Nino a porté sur la façon dont le raisonnement par chaîne de pensée peut être envisagé comme une manière de construire à la volée un jeu de données pour le modèle, permettant un apprentissage en contexte plus efficace. Guillaume a également mis en avant la façon dont différentes formes de mémoire — épisodique, sémantique et de travail — peuvent interagir et s’unifier pour soutenir un apprentissage plus efficace et adaptatif.

Journée 4 – 27 février 2026

Naomi Saphra (Harvard University): When Can We Predict Model Behavior?

Naomi Saphra, chercheuse associée au Kempner Institute à l’Université Harvard et future professeure adjointe à l’Université de Boston, a ouvert la dernière journée de l’atelier en présentant ses récents travaux sur la compréhension de l’émergence des performances de haut niveau dans les modèles d’IA. Il est bien établi que lorsque les modèles d’IA atteignent un grand nombre de paramètres, ils peuvent afficher des améliorations soudaines et spectaculaires de leurs performances, un phénomène souvent associé au grokking. Un aspect moins fréquemment discuté est cependant le rôle des variations aléatoires lors de l’entraînement. Selon les graines aléatoires utilisées, les performances des modèles ne varient pas de manière lisse ; elles suivent plutôt une distribution bimodale, où les modèles tendent soit clairement à réussir, soit clairement à échouer.

Fait intéressant, ce schéma bimodal apparaît également dans les capacités de généralisation hiérarchique, suggérant que l’émergence d’un raisonnement structuré peut dépendre de manière sensible de la dynamique d’entraînement, et pas seulement de la taille du modèle.

Article : Random Scaling of Emergent Capabilities https://doi.org/10.48550/arXiv.2502.17356

Hidenori Tanaka (Harvard University): Mechanistic Principles of Concept Learning and Compositional Reasoning

Hidenori Tanaka, professeur à l’Université Harvard, a conclu l’atelier avec une conférence stimulante sur l’apprentissage en contexte et le rôle de la dynamique sociale dans les grands modèles de langue. Il a commencé par expliquer comment l’apprentissage en contexte permet aux LLM d’inférer les processus génératifs sous-jacents directement à partir d’exemples. En utilisant des marches aléatoires sur des graphes structurés comme illustration, il a montré que fournir un contexte plus riche peut conduire à l’émergence de représentations internes qui capturent la structure du graphe lui-même. Cela met en lumière comment les LLM peuvent dépasser la simple correspondance de motifs en surface pour tendre vers des formes de raisonnement plus structurées.

Abordant ensuite le sujet de l’alignement, il a introduit un cadre convaincant pour appréhender la dynamique sociale dans les systèmes d’IA, organisé en trois paradigmes : mono-corps (contrôle), bi-corps (interaction/relations) et multi-corps (dynamiques sociétales). Cette perspective souligne que l’alignement n’est pas uniquement une propriété individuelle d’un modèle, mais peut également émerger des interactions entre agents et au sein de systèmes plus larges.
Dans la dernière partie de la conférence, il a exploré ce que pourrait signifier favoriser des dynamiques sociales saines entre agents d’IA, soulevant des questions importantes sur la coopération, la stabilité et les comportements à long terme dans des contextes multi-agents.

Il a également brièvement présenté son récent ouvrage, A Psychiatrist’s Guide to AI for Mental Health, devenu numéro un des meilleures ventes dans les catégories soins infirmiers, psychiatrie et santé mentale sur Amazon Japon. Le livre est actuellement disponible uniquement en japonais.