Les agents superintelligents posent des risques catastrophiques : l’IA scientifique peut-elle offrir une voie plus sûre? | Exposé distingué Richard M. Karp à visionner en direct

Partagez l'événement

Les principales entreprises d’IA se concentrent de plus en plus sur la construction d’agents d’IA généralistes, c’est-à-dire des systèmes capables de planifier, d’agir et de poursuivre des objectifs de manière autonome dans presque toutes les tâches que les humains peuvent accomplir. Malgré l’utilité de ces systèmes, les agents d’IA non contrôlés présentent des risques importants pour la sûreté et la sécurité publiques, allant d’une utilisation abusive par des acteurs malveillants à une perte potentiellement irréversible du contrôle humain. Dans son prochain exposé, Yoshua Bengio expliquera comment ces risques découlent des méthodes actuelles d’apprentissage de l’IA.

Cette conférence fait partie du semestre thématique Les grands modèles de langage et les transformeurs qui est co-organisé et co-financé par le Simons Institute for the Theory of Computing et IVADO et qui aura lieu à Berkeley de février à mai 2025.

La conférence sera diffusée en direct et aura lieu le mardi 15 avril 2025 à 19h ET (16h PT).

Elle sera suivie d’une discussion avec les professeurs Yoshua Bengio (IVADO – Mila – Université de Montréal), Dawn Song (UC Berkeley), Roger Grosse, Geoffrey Irving, et animée par Siva Reddy (IVADO – Mila – Université McGill).

L’inscription est nécessaire pour accéder au livestream, ou pour un accès anticipé à l’enregistrement.

INSCRIVEZ-VOUS MAINTENANT

Résumé

Divers scénarios et expériences ont démontré la possibilité que des agents d’IA se livrent à la tromperie ou poursuivent des objectifs qui n’ont pas été spécifiés par les opérateurs humains et qui entrent en conflit avec les intérêts humains, tels que l’autoconservation. Suivant le principe de précaution, Bengio et ses collègues considèrent qu’il est nécessaire de trouver des alternatives plus sûres, mais néanmoins utiles, à la trajectoire actuelle des agents. En conséquence, ils proposent comme élément de base pour de nouvelles avancées le développement d’un système d’IA non agentique, digne de confiance et sûr de par sa conception, qu’ils appellent Scientist AI (IA scientifique). Ce système est conçu pour expliquer le monde à partir d’observations, et non pour y entreprendre des actions dans le but d’imiter les humains ou de leur plaire. Il comprend un modèle du monde qui génère des théories pour expliquer les données et une machine d’inférence qui répond aux questions. Ces deux éléments fonctionnent avec une notion explicite d’incertitude afin d’atténuer les risques de prédictions trop confiantes.

À la lumière de ces considérations, une IA scientifique pourrait être utilisée pour aider les chercheurs humains à accélérer le progrès scientifique, y compris dans le domaine de la sécurité de l’IA. En particulier, ce système pourrait servir de garde-fou contre les agents d’IA qui pourraient être créés en dépit des risques encourus. En fin de compte, se concentrer sur l’IA non agentique peut permettre de bénéficier des avantages de l’innovation en matière d’IA tout en évitant les risques associés à la trajectoire actuelle. Bengio et ses collègues espèrent que ces arguments inciteront les chercheurs, les développeurs et les décideurs politiques à privilégier cette voie plus sûre.

Yoshua Bengio est professeur titulaire au Département d’informatique et de recherche opérationnelle de l’Université de Montréal, ainsi que conseiller spécial et directeur scientifique fondateur d’IVADO et conseiller scientifique et fondateur de Mila . Il est titulaire d’une chaire d’IA du CIFAR Canada et a reçu le prix A.M. Turing 2018, considéré comme le « prix Nobel de l’informatique ».

Il est membre de la Royal Society du Royaume-Uni et de la Société royale du Canada, officier de l’Ordre du Canada, chevalier de la Légion d’honneur de France et membre du Conseil consultatif scientifique des Nations unies chargé de fournir des avis indépendants sur les percées scientifiques et technologiques.


Les séries d’exposés distingués Richard M. Karp ont été créées à l’automne 2019 pour célébrer le rôle du directeur fondateur de l’Institut Simons, Dick Karp, dans l’établissement du domaine de l’informatique théorique, la formulation de ses problèmes centraux et la contribution à des résultats étonnants dans les domaines de la complexité computationnelle et des algorithmes. Anciennement connue sous le nom de Simons Institute Open Lectures, les séries présentent des chefs de file visionnaires dans le domaine de l’informatique théorique et s’adressent à un large public scientifique.

L’URL de l’enregistrement de la conférence sera envoyée par courriel aux participants inscrits. Cette URL peut être utilisée pour accéder immédiatement au livestream et à l’enregistrement de la conférence. Les enregistrements des conférences seront accessibles au public sur SimonsTV environ 12 à 15 jours après chaque présentation, sauf indication contraire.