Exploiter les capacités et la sécurité des agents : faits saillants de l’atelier IVADO (3-6 octobre 2025)

Par Ada Tur, Chercheuse de 1^er cycle à McGill Traitement du langage naturel (ada.tur@mila.quebec)

Introduction

Comme en témoigne la croissance rapide des agents LLM utilisés sur le Web et les ordinateurs lancés au cours de la dernière année, l’enthousiasme pour les capacités et les applications des agents a connu un essor considérable. Le semestre thématique 2025 d’IVADO met en vedette le thème des agents LLM autonomes, avec notamment un bootcamp sur les agents organisé en août et deux ateliers tenus à Montréal. Le premier de ces ateliers a eu lieu du 3 au 6 octobre à HEC Montréal et a attiré de nombreux chercheurs et universitaires de renom qui ont présenté leurs derniers travaux.

Jour 1

La première journée a débuté par une présentation du professeur Ruslan Salakhutdinov de l’université Carnegie Mellon intitulée « Agents IA autonomes multimodaux ». Il a présenté les travaux récents de son laboratoire, en mettant l’accent sur les progrès réalisés avec VisualWebArena comme référence pour les agents web multimodaux réalistes. Dans ce cadre, les interactions avec les pages web sont modélisées comme des processus décisionnels markoviens partiellement observables, ce qui permet un raisonnement plus clair et une recherche plus efficace. Cependant, des défis importants subsistent : les agents ont encore des difficultés avec la planification à long terme et l’abstraction, ce qui souligne la nécessité d’une exploration guidée par la valeur et de pipelines d’agents à grande échelle et auto-améliorables.

#agentsIA #agentsweb #raisonnement #multimodal #vlm #langagevisuel #nlp

Ensuite, le professeur Yu Su, de l’université d’État de l’Ohio, est revenu sur le paradoxe de Moravec et ses implications pour les agents modernes. Le paradoxe de Moravec affirmait à l’origine qu’il était facile de simuler l’intelligence, mais difficile de reproduire la mobilité. Le professeur Su a fait valoir que cet écart s’est désormais inversé : aujourd’hui, les agents affichent des performances relativement élevées dans les tâches liées à l’utilisation d’un ordinateur, mais restent faibles en matière de raisonnement symbolique. Malgré des progrès rapides, les agents utilisant un ordinateur plafonnent à environ 60 % de précision sur OSWorld et WebArena. Ses travaux récents, Mind2Web2, redéfinissent l’évaluation à l’aide d’arborescences de rubriques, permettant d’obtenir une cohérence presque parfaite dans la notation des agents tout en révélant le fossé persistant entre l’intelligence symbolique et l’utilisabilité concrète.

#agentsIA #agentsweb #évaluationdesagents #paradoxemoravec #agentsdutilisationinformatique

La professeure Bo Li de l’UIUC a ensuite abordé la question de la sécurité des agents. À travers des projets tels que AgentPoison et ShieldAgent, elle a présenté des défenses multicouches dans lesquelles des sous-agents appliquent des politiques de sécurité sur mesure. Son approche utilise des garde-fous basés sur la connaissance qui agissent comme des couches externes évolutives plutôt que comme des modifications des poids des modèles. Elle a décrit une configuration agentique idéale dans laquelle un agent principal coordonne des sous-agents plus petits et spécialisés, chacun doté de garde-fous spécifiques à son domaine.

#agentsIA #agentsweb #sécuritéIA #redteaming #sécuritéagents

La professeure Parisa Kordjamshidi, de l’université d’État du Michigan, a présenté ses recherches sur le raisonnement compositionnel dans les modèles vision-langage et sur la manière dont l’IA neuro-symbolique peut renforcer les capacités d’ancrage. Elle a soutenu que la véritable compréhension chez les agents nécessite un raisonnement compositionnel ancré dans des représentations neuro-symboliques. Ses articles NeSyCoCo et FoREST démontrent que l’intégration de la logique symbolique aux modèles vision-langage améliore l’interprétabilité et la robustesse. En reliant la logique spatiale à l’ancrage visuel, elle fait le lien entre la perception et le raisonnement, proposant DomiKnowS comme cadre unifié pour l’IA neuro-symbolique.

#agentsIA #ancrage #raisonnementsymbolique #raisonnementcompositionnel #modèlesdelangagevisuel

Plus tard, le professeur Daniel Fried de CMU a présenté ses travaux sur la mémoire des flux de travail et les abstractions programmatiques pour les agents, en s’appuyant sur des articles tels que  Agent Workflow Memory et Inducing Programmatic Skills for Agentic Tasks. Ses recherches montrent que les programmes induits, et non les textes libres, produisent des comportements plus vérifiables et réutilisables. En comparant les flux de travail humains et ceux des agents, il a constaté que les agents ont tendance à coder là où les humains conceptualisent, soulignant la nécessité de meilleurs modèles d’interaction homme-agent basés sur des abstractions partagées.

#agentsIA #agentsweb #agentsdecodage #mémoirdeagent #hci #abstractions

La professeure Joyce Chai, de l’université du Michigan, a présenté son article intitulé « Proactive Assistant Dialogue Generation for perceptually enabled task guidance » (Génération proactive de dialogues d’assistance pour un guidage perceptif des tâches), dans lequel les agents apprennent à partir de dialogues synthétiques basés sur des vidéos égocentriques. À l’aide d’une simulation d’interaction située via SimBot d’Amazon Alexa et de pipelines de formation synthétiques, son cadre forme des agents multimodaux capables de guider les humains dans des tâches complexes, telles que la cuisine, en reliant de manière transparente les environnements numériques et physiques.

#agentsIA #IAincarnée #agentsincarnés #IAmultimodale #ancrage

Enfin, le professeur Yoav Artzi de Cornell a conclu la journée par une présentation stimulante sur la manière dont les LLM accèdent aux connaissances. Son article intitulé « Limited Memory Language Models » (Modèles linguistiques à mémoire limitée) propose d’externaliser les connaissances des paramètres du modèle vers des bases de données modulaires, afin de réduire les hallucinations, d’améliorer la précision factuelle et de simplifier le désapprentissage. Cette séparation entre le raisonnement et la mémoire permet d’obtenir des agents plus sûrs et plus contrôlables, avec un minimum de connaissances internes, ce qui permet un apprentissage plus rapide, des mises à jour transparentes et des progrès vers un raisonnement modulaire et interprétable.

#agentsIA #agentsweb #mémoireagent #mémoireexterne #agentscontrôlables 

Jour 2

Le professeur Graham Neubig, de l’université Carnegie Mellon, a ouvert la deuxième journée en partageant les enseignements tirés du déploiement d’agents de codage dans des environnements réels : 1. la simplicité est un facteur déterminant, 2. les configurations hybrides GUI-API sont plus performantes que les autres, 3. la formation des agents (par le biais de déploiements, de données synthétiques et de démonstrations humaines) est essentielle, 4. l’évaluation comparative doit être écologiquement valide, et 5. les agents doivent s’adapter conjointement avec les utilisateurs humains. Son cadre VersaBench met l’accent sur la validité écologique, c’est-à-dire l’évaluation des agents tels que les humains les utilisent réellement : de manière interactive et imparfaite.

#agentsIA #agentsweb #sécuritéIA #miseàéchelle #référentiel #interactionhommemachine=

La professeure Aishwarya Agrawal de l’UdeM a ensuite examiné comment les agents multimodaux raisonnent à propos des modifications visuelles et de l’alignement culturel. Son laboratoire a découvert que, si le réglage supervisé avec la chaîne de pensée dégradait les performances d’édition d’images, le réglage basé sur l’apprentissage par renforcement améliorait le raisonnement relationnel. Ses articles Learning What Matters et CulturalFrames montrent que les agents acquièrent des compétences de manière progressive et doivent être évalués aussi rigoureusement pour leur alignement culturel que pour leur précision visuelle.

#agentsIA #agentsweb #retoucheimage #culture #chaînedepensée #multimodal

Le professeur Yonatan Bisk, de l’université Carnegie Mellon, a abordé la question de la conscience spatiale et sémantique dans les modèles incarnés. Ses études MoTIF et Vid2Robot révèlent que les modèles ne parviennent toujours pas à intégrer la continuité spatiale, s’adaptant de manière excessive aux caractéristiques visuelles plutôt qu’aux caractéristiques conceptuelles. Il en conclut qu’une véritable compréhension incarnée nécessite des biais inductifs, et pas seulement des modèles plus grands, pour relier l’espace conceptuel et l’espace physique.

#agentsIA #sémantique #consciencespatiale #IA incarnée #ancrage

Ensuite, le professeur Ivan Titov, de l’université d’Édimbourg, a abordé le thème du raisonnement fidèle et de la collaboration préservant la confidentialité. Son article intitulé « Truthful or Fabricated? » (Véritable ou fabriqué ?) montre que les traces de raisonnement peuvent dissimuler de fausses justifications. L’introduction de signaux contrefactuels et de profils de confidentialité permet aux systèmes multi-agents de collaborer efficacement tout en minimisant l’exposition des données et en maintenant un équilibre entre utilité et contrôle.

#agentsIA #fidélité #IAfiable #raisonnement #confidentialité #interactionhommemachine

Le professeur Abhik Roychoudhury, de l’Université nationale de Singapour, a étudié comment établir une relation de confiance entre les développeurs et les agents de codage. Son ouvrage Programming with Trust établit un lien entre l’intention du développeur et le code bogué grâce à une analyse formelle, générant des propriétés logiques qui guident vers des corrections fiables. En intégrant l’analyse au sein même de l’agent, au-delà du code ou du texte, il envisage des outils qui affinent de manière itérative leur compréhension des problèmes grâce à une recherche stratifiée, pouvant s’étendre à des contextes plus larges d’ingénierie logicielle et de sécurité une fois que les conditions de confiance sont bien définies.

#agentsIA #IAfiable #intégrations #agentsdecodage #agentsd’utilisationinformatique

Enfin, la professeure Huan Sun, de l’université d’État de l’Ohio, a clôturé la journée en examinant le lien entre le développement des capacités et les lacunes en matière de sécurité. Les articles RedTeamCUA et Reversal Curse publiés par son laboratoire modélisent les défaillances du raisonnement compositionnel, montrant que les étiquettes superficielles peuvent fausser la généralisation conceptuelle. Faisant écho au professeur Neubig, elle a fait valoir que les futurs tests de sécurité doivent être systématiques, écologiquement valides et fondés sur des scénarios de menace réalistes.

#agentsIA #agentsweb #agentsinformatiques #sécuritéIA #raisonnementcompositionnel

Jour 3

Le professeur Tao Yu, de l’université de Hong Kong, a ouvert la troisième journée par une présentation sur les cadres d’évaluation des agents, soulignant le rôle fondamental d’OSWorld et d’AgentNet pour les agents informatiques évolutifs. Son approche recadre les interfaces informatiques en tant qu’environnements structurés basés sur Python, permettant la configuration et l’évaluation automatiques des états. Il a identifié la réflexion, la mémoire, la planification et la prédiction comme les quatre piliers fondamentaux des CUA et a fait valoir qu’un raisonnement de haute qualité en chaîne de pensée fait le lien entre la perception et l’action. Pour l’avenir, il a appelé à la création de modèles de base qui agissent comme des agents incarnés capables de fonctionner en toute sécurité dans les domaines numériques et physiques.

#agentsIA #agentsweb #agentsinformatiques #IAincarnée #agentscodage #raisonnement

Le professeur Xin Eric Wang, de l’université de Californie à Santa Barbara, a analysé les limites des CUA actuelles, allant d’une base insuffisante à un succès inégal dans l’accomplissement des tâches. Son cadre Agent S3 résout le problème du démarrage à froid grâce à une exploration auto-supervisée, tandis qu’un ensemble d’experts en base traite le raisonnement visuel, textuel et structurel. Des articles tels que Soft Thinking et GRIT montrent que « penser avec des images » amplifie à la fois le raisonnement et l’ancrage. Wang envisage des CUA auto-évolutifs qui s’affinent et s’adaptent grâce à des expériences répétées, pouvant potentiellement atteindre une précision surhumaine dans l’interaction avec les ordinateurs.

#agentsIA #agentsweb #agentsinformatiques #multimodal #raisonnement #ancrage

Une table ronde a suivi avec les professeures et professeurs Joyce Chai, Tao Yu, Graham Neubig, Parisa Kordjamshidi, Yu Su et le modérateur Victor Zhong. La discussion a porté sur l’ancrage, la modélisation du monde et la conception de récompenses fiables. Les participants ont convenu que la sécurité commence par l’ancrage, qu’il soit interprété comme une traduction entre différents domaines ou comme un pont entre des « mondes » distincts. Ils ont mis en garde contre l’oubli catastrophique dans l’apprentissage continu et ont souligné la nécessité de disposer d’agents qui savent quand agir et quand s’arrêter.

#agentsIA #ancrage #sécuritéIA #apprentissagecontinu #agentsweb

Alexandre Drouin, de ServiceNow, a présenté les recherches approfondies menées par son équipe sur les agents, en s’appuyant sur WorkArena et BrowserGym pour des tâches web à long terme et à haut niveau de cognition. Leur article intitulé « Just-In-Time Episodic Feedback » permet aux agents d’apprendre de leurs propres erreurs en identifiant les boucles d’échec. Avec UI-Vision, il a montré que la compréhension de l’interface utilisateur reste largement inexplorée, tandis que DRBench et DoomArena étendent l’évaluation aux contextes de récupération de données et de sécurité. Il a conclu que l’avenir du travail des agents dépend de benchmarks ouverts, indépendants des agents et soucieux de la sécurité.

#agentsIA #agentsweb #sécuritéIA #agentsdecodage #confidentialité #récupération

La professeure Andrea Bajcsy, de la CMU, a ensuite abordé la sécurité sous l’angle de la théorie du contrôle, en mettant l’accent sur les garde-fous au moment du déploiement plutôt que sur la réécriture des modèles. Son article intitulé « Latent Safety Filters » (Filtres de sécurité latents) calcule des trajectoires sûres directement dans l’espace d’état interne d’un agent, en optimisant conjointement le classificateur et la politique. En intégrant la prise en compte de l’incertitude, le cadre permet de se remettre de défaillances imprévues. Bajcsy envisage des garde-fous agentiques qui non seulement bloquent les comportements dangereux, mais les anticipent et permettent de s’en remettre en temps réel.

#robotique #agentsIA #sécuritéIA #multimodal #raisonnement #ancrage

La journée s’est terminée avec le professeur Zhijing Jin de l’Université de Toronto, qui a exploré les moyens de doter les agents d’une intelligence causale, c’est-à-dire la capacité de distinguer la corrélation de la causalité. Dans des travaux tels que CLadder et Causal AI Scientist, elle modélise le raisonnement scientifique comme un processus décisionnel causal dans lequel les LLM apprennent à formuler et à tester des hypothèses. Ses recherches étendent la génération augmentée par la récupération (RAG) en intégrant des graphes causaux dans le raisonnement des LLM, dans le but de créer des agents capables de synthétiser et de valider de manière autonome des découvertes scientifiques.

#agentsIA #scientifiqueIA #intelligencecausale #récupération #raisonnement #rag

Day 4

Le professeur Yoshua Bengio, de l’Université de Montréal, a ouvert la dernière journée en appelant à passer d’une concurrence agentique à une coopération épistémique. Sa proposition Scientist AI envisage des systèmes non agentiques, c’est-à-dire des IA fonctionnant comme des prédicteurs qui modélisent le monde sans objectifs implicites. En utilisant les a posteriori bayésiens comme « oracles probabilistes », ces modèles pourraient évaluer les risques tout en restant fondamentalement non agentiques, protégeant ainsi les chercheurs contre la perte de contrôle et les comportements involontaires.

#agentsIA #IAscientifique #sécuritéIA #modélisationmondiale

Le professeur Prithviraj Ammanabrolu de l’université de Californie à San Diego a analysé l’équilibre entre sécurité et capacité, suggérant que des « leviers » évolutifs tels que les a priori des modèles, les récompenses et les environnements peuvent concilier les deux. Son groupe montre que des retours humains précis et une modélisation légère des récompenses peuvent permettre d’atteindre un alignement sans supervision exhaustive. Dans des travaux tels que MINDCraft et Beyond Needles in the Embodied Haystack, il démontre que des environnements simples et bien structurés permettent aux agents de généraliser en toute sécurité à travers des tâches complexes.

 #agentsIA #IAincarnée #interactionhommemachine #miseàéchelle #sécuritéIA

Enfin, la professeure Dawn Song de l’université de Berkeley a clôturé l’atelier en soulignant que la cybersécurité est la première ligne de défense en matière de sécurité de l’IA. Les cadres AgentVigil et AgentXploit développés par son équipe montrent que la mémoire, la récupération et l’utilisation d’outils exposent les agents à de nouvelles vulnérabilités. À travers des travaux tels que Progent, elle a insisté sur la nécessité de disposer de plateformes d’évaluation des risques standardisées et reproductibles pour les systèmes agentiques.

 #agentsIA #sécuritéIA #agentsweb #récupération #mémoireagent #cybersécurité

Tout au long des conférences et des sessions, un thème central a dominé : la capacité et la sécurité ne sont plus dissociables. Du raisonnement compositionnel au déploiement sécurisé, la recherche contemporaine sur l’IA agentielle converge vers des agents auto-améliorables mais sécurisés, c’est-à-dire des systèmes qui raisonnent, planifient et agissent de manière responsable dans les mondes numériques et incarnés. Le deuxième atelier d’IVADO dans cette série aura lieu du 17 au 19 novembre et proposera de nombreuses autres conférences données par des chercheurs de premier plan dans le domaine de l’IA à travers le monde.