1^er atelier : Évaluer et améliorer les capacités et la sécurité des agents

Cet atelier réunit deux éléments essentiels du développement des agents autonomes : leurs capacités croissantes et l’impératif d’assurer leur déploiement sûr et harmonisé. Alors que les agents deviennent de plus en plus capables de raisonner à long terme, d’avoir un comportement orienté vers un but et de prendre des décisions autonomes, comprendre comment mesurer et étendre ces capacités reste un défi central pour la recherche. Dans le même temps, ces progrès soulèvent des questions urgentes sur la robustesse, le désalignement, l’atténuation des risques et les comportements imprévus.

L’atelier explorera les goulets d’étranglement actuels dans le développement d’agents – y compris le défi de la collecte de données agentiques significatives (via l’interaction humaine ou la génération synthétique) et la garantie d’une généralisation sans effondrement de mode – ainsi que les approches de pointe pour construire des agents qui sont sûrs par conception. En réunissant des chercheurs travaillant à la fois sur les capacités et la sécurité des agents, cet atelier vise à favoriser la pollinisation croisée entre les communautés et à développer un programme de recherche commun pour la prochaine génération de systèmes autonomes.

Aishwarya Agrawal (IVADO, Université de Montréal, Mila), Prithviraj “Raj” Ammanabrolu (UCSD), Andrea Bajcsy (Carnegie Mellon University), Yoshua Bengio (IVADO, Université de Montréal, Mila), Yonathan Bisk (CMU), Joyce Chai (University of Michigan), Alexandre Drouin (ServiceNow & Université Laval), Daniel Fried (Carnegie Mellon University), Zhijing Jin (University of Toronto), Parisa Kordjamshidi (Michigan State University), Bo Li (UIUC), Graham Neubig (Carnegie Mellon University), Siva Reddy (IVADO, McGill University, Mila), Abhik Roychoudhury (National University of Singapore), Ruslan Salakhutdinov (Carnegie Mellon University), Dawn Song  (UC Berkeley), Yu Su (The Ohio State University), Alane Suhr (UC Berkeley), Huan Sun (The Ohio State University), Ivan Titov (University of Edinburgh, University of Amsterdam), Xin Eric Wang (UCSB, Simular), Tao Yu (The University of Hong Kong), Victor Zhong (University of Waterloo, Vector Institute).

VENDREDI 3 OCTOBRE 2025 – A.335 Amphithéâtre Rachelle et Alain-Paris et Foyer

9:00 – 9:20 : Accueil et café

9:20 – 9:30 : Mot de bienvenue

9:30 – 10:15 : Towards Internet-Scale Training of Web-Agents
Ruslan Salakhutdinov (Carnegie Mellon University)

10:15 – 11:00 : Computer Use: Modern Moravec’s Paradox
Yu Su (The Ohio State University)

11:00 – 11:30 : Pause-café

11:30 – 12:15 : Guarding the Future: Red Teaming, Alignment, and Knowledge-Enabled Guardrails for Agentic Systems
Bo Li (University of Illinois Urbana-Champaign)

12:15 – 14:00 : Lunch (non fourni)

14:00 – 14:45 : Compositional Reasoning for Natural Language Comprehension and Grounding Leveraging Neuro-Symbolic AI
Parisa Kordjamshidi (Michigan State University)

14:45 – 15:15 : Communicating Efficiently with Agents by Reasoning About Informativity
Daniel Fried (Carnegie Mellon University)

15:15 – 15:45 :  Towards Perceptual Agents for Task Guidance
Joyce Chai (University of Michigan)

15:45 – 16:15 : Pre-Training LLMs to Externalize Knowledge
Yoav Artzi (Cornell University)

16:15 – 17:30 : Réseautage

SAMEDI 4 OCTOBRE 2025 – A.335 Amphithéâtre Rachelle et Alain-Paris et Foyer

9:00 – 9:30 : Accueil et café

9:30 – 10:15 : Lessons from the Trenches on Building Usable Coding Agents
Graham Neubig (Carnegie Mellon University)

10:15 – 11:00 : Multimodal Agents for Solving Complex Reasoning Tasks
Aishwarya Agrawal (IVADO, Université de Montréal, Mila)

11:00 –  11:30 : Pause-café

11:30 –  12:15 : Spatial and Semantic Awareness in Embodied LMs
Yonatan Bisk (Carnegie Mellon University)

12:15 – 14:00 : Lunch (non fourni)

14:00 – 14:45 :  Trust and Control in LLMs: from Faithful Reasoning to Privacy-Preserving Collaboration
Ivan Titov (University of Edinburgh, University of Amsterdam)

14:45 – 15:30 : Trusted Automated Software Engineering via LLM Agents:  Experience from AutoCodeRover
Abhik Roychoudhury (National University of Singapore)

15:30 – 16:00 : Pause-café

16:00 – 16:45 : Catching the Uncaught: From Safety Risks in Computer-Use Agents to Generalization Failures of Transformers
Huan Sun (The Ohio State University)

DIMANCHE 5 OCTOBRE 2025 – A.335 Amphithéâtre Rachelle et Alain-Paris et Foyer

9:00 – 9:30 : Accueil et café

9:30 – 10:15 : Open Foundations for Computer-Use Agents
Tao Yu (The University of Hong Kong)

10:15 – 11:00 : Building AI Agents that Reason and Act Like Humans
Xin Eric Wang (UCSB)

11:00 –  11:30 : Pause-café

11:30 –  12:30 : Panel: The Future of Autonomous Agents
Avec Joyce Chai (University of Michigan), Tao Yu (University of Hong Kong), Parisa Kordjamshidi (Michigan State University)

12:30 – 14:00 : Lunch (non fourni)

14:00 – 14:45 : Agents for Knowledge Work – Progress and Key Challenges
Alexandre Drouin (Service Now, Université Laval)

14:45 – 15:30 : From Refusal to Recovery: A Control-Theoretic Perspective on Agentic Guardrails
Andrea Bajcsy (Carnegie Mellon University)

15:30 – 16:00 : Pause-café

16:00 – 16:45 :Testing Multi-Agent AI Safety Risks by LLM Simulacra
Zhijing Jin (University of Toronto)

LUNDI 6 OCTOBRE 2025 – A.463 GardaWorld et A.469 Espace Stéphen-Crétier

8:30 – 9:00 : Accueil et café

9:00 – 9:45 : Avoiding Catastrophic Risks from Uncontrolled AI Agency with the Scientist AI
Yoshua Bengio (IVADO, Université de Montréal, Mila)

9:55 – 10:030 : Navigating the Safety-Capability Spectrum when Teaching Agents with Feedback
Prithviraj Ammanabrolu (UCSD)

10:30 – 11:00 : Pause-café

11:00 – 11:45 : Towards Building Safe and Secure Agentic AI
Dawn Song (UC Berkeley)

11:45 – 11:55 : Mot de clôture