Bootcamp : Aperçu statistique des systèmes d’IA modernes

Membre du comité responsable de l’atelier

L’objectif de ce bootcamp est de donner aux statisticiens une maîtrise opérationnelle des outils d’IA avancés, en particulier les grands modèles de langage (LLM), l’apprentissage profond, l’apprentissage par renforcement (RL), les agents et l’alignement de l’IA. Thèmes spécifiques abordés :

1. Alignement de l’IA dans une perspective statistique : transformer la sécurité, l’utilité et la non-toxicité en quantités mesurables (tests d’hypothèse, limites de risque, prédiction sélective/abstention) ; pratiquer le red teaming et l’audit avec contrôle des erreurs.
2. Apprentissage profond à travers le prisme statistique : généralisation sous décalage, robustesse, calibrage et cas où les limites permettent de prédire de manière significative le comportement de déploiement.
3. Grands modèles de langage (LLM)
4. Agents IA : boucles de décision avec incertitude et rétroaction ; politiques tenant compte des risques, journaux vérifiables et surveillance.
5. Raisonnement causal avec les LLM : distinction entre cibles prédictives et cibles causales ; analyses de sensibilité ; documentation des hypothèses pour des décisions défendables.
6. Apprentissage par renforcement (RL) : exploration fondée sur des principes statistiques, évaluation hors politique, ensembles de confiance et implications en matière de sécurité/équité.

Bang Liu (Université de Montréal), Jiancong Xiao (University of Pennsylvania), Marouane Il Idrissi (UQAM), Yanxun Xu (Johns Hopkins University) et Amirhossein Kazemnejad (Mila).

Programme

9 h 00 à 9 h 20 – Accueil et inscription
9 h 20 à 9 h 30 – Mot de Bienvenue
9 h 30 à 11 h 00 – Ateliers théoriques
11 h 00 à 11 h 30 – Pause-café
11 h 30 à 12 h 15 – Atelier théorique

12 h 15 à 14 h 00 – Pause repas du midi (non-inclus)
14 h 00 à 15 h 30 – Ateliers pratiques
15 h 30 à 16 h 00 – Pause-café
16 h 00 à 16 h 45 – Atelier pratique
16 h 45 à 18 h 00 – Cocktail réseautage (lundi uniquement)

Chaque journée du bootcamp a été pensée autour d’un thème spécifique. Découvrez ci-dessous la description détaillée !

LUNDI 4 MAI 2026 – 9 h 00 à 16 h 45, suivi d’une activité de réseautage
Améliorer la recherche statistique grâce à des grands modèles de langage (LLM) spécialisés et à des agents structurés
Formatrice – Yanxun Xu, Johns Hopkins University

Ce cours de courte durée porte sur la manière dont les systèmes modernes d’IA générative peuvent être utilisés comme des outils pratiques et fondés sur des données statistiques dans les processus de recherche biomédicale. Les cours présentent les principales méthodes d’IA — notamment la génération augmentée par la recherche (RAG), l’adaptation à des tâches spécifiques des grands modèles de langage (LLM) et les agents LLM à sortie structurée — et montrent comment elles s’appliquent à la synthèse de la littérature biomédicale, à l’extraction de données d’essais cliniques, à la caractérisation de cohortes à partir de dossiers médicaux électroniques et aux analyses statistiques en aval telles que l’analyse de survie et la synthèse des preuves.

Le cours comprend des exemples guidés de bout en bout de flux de travail de données biomédicales assistés par l’IA.

Logiciels
● Python (principal)
● Cahiers Google Colab (compte Google requis)
● Utilisation facultative de R pour la modélisation statistique et la visualisation en aval

Ressources informatiques
● Aucun GPU requis
● Tous les exemples s’exécutent sur des ordinateurs portables standards à l’aide de modèles basés sur des API

Prérequis
● Maîtrise de base de Python (ou de R) pour l’analyse de données

MARDI 5 MAI 2026 – 9 h 00 à 16 h 45
Fondements et applications de l’intelligence agentique
Formateur – Bang Liu, Université de Montréal

Ce cours offre un aperçu complet des agents intelligents basés sur des grands modèles langage (LLM), s’inscrivant dans une architecture modulaire inspirée du cerveau qui intègre les connaissances issues des sciences cognitives, des neurosciences et de la recherche en informatique.

Le cours s’articule en quatre parties :
1. Les fondements modulaires des agents intelligents, notamment la mémoire, la modélisation du monde, les systèmes de récompense et les mécanismes de type émotionnel.
2. Auto-amélioration et évolution adaptative, couvrant l’apprentissage continu, l’optimisation automatisée et les stratégies d’amélioration pilotées par les LLM.
3. Systèmes collaboratifs et multi-agents, explorant l’intelligence collective et les dynamiques sociales entre agents en interaction.
4. Sécurité, robustesse et alignement, abordant les menaces de sécurité, les considérations éthiques et le déploiement fiable.

Le cours identifie les principaux défis et opportunités de recherche dans la construction d’agents intelligents adaptatifs et socialement alignés.

Logiciels
● Python

Matériel
● Un ordinateur portable standard suffit
● Aucun GPU requis (sauf si des expériences facultatives sont réalisées)

Prérequis
● Connaissances de base en Python
● Compréhension générale des concepts d’apprentissage automatique

MERCREDI 6 MAI 2026 – 9 h 00 à 16 h 45
Apprendre à des modèles de langage à raisonner grâce à l’apprentissage par renforcement à partir de zéro
Formateur – Amirhossein Kazemnejad, Mila

Ce cours explore comment l’apprentissage par renforcement (RL) peut permettre à de grands modèles de langage (LLM) de développer des capacités de raisonnement émergentes sans traces de raisonnement annotées par l’homme. Le cours couvre l’ensemble du processus d’entraînement, notamment :

● L’optimisation relative des politiques par groupes (GRPO) et son lien avec les méthodes de gradient de politique
● La conception de récompenses à l’aide de signaux basés sur des règles pour des tâches vérifiables
● L’optimisation régularisée par KL pour contrôler la dérive de politique
● Les comportements de raisonnement émergents observés pendant l’entraînement par RL

Les participants mettront en œuvre une boucle d’entraînement RL complète à partir de zéro dans un notebook Jupyter guidé, couvrant la construction de prompts, la conception de récompenses, le calcul d’avantages et les mises à jour de gradient de politique.

Logiciels
● Python
● PyTorch
● Hugging Face Transformers
● DeepSpeed
● vLLM

Ressources informatiques
● GPU requis (Google Colab A100 ou T4 recommandé)
● Points de contrôle précalculés fournis à titre de solution de secours

Prérequis
● Maîtrise de Python et de PyTorch
● Connaissance de l’optimisation basée sur les gradients
● Aucune expérience préalable en apprentissage par renforcement requise

JEUDI 7 MAI 2026 – 9 h 00 à 16 h 45
Des attributions de type Shapley aux concepts : interpréter les modèles tabulaires, d’images et de textes
Formateur – Marouane Il Idrissi, UQAM

Ce cours présente des approches pratiques pour interpréter les modèles prédictifs de type « boîte noire » après leur apprentissage, en mettant l’accent sur la quantification de l’influence des caractéristiques. Nous commencerons par les méthodes d’attribution pour les données tabulaires fondées sur la théorie des jeux coopératifs (par exemple, les valeurs de Shapley) et montrerons comment ces outils vont au-delà de la simple décomposition des prédictions.

Le cours s’étend ensuite aux modèles modernes de vision et de langage, où la notion de « caractéristique » est moins directe. Nous présentons des méthodes d’explicabilité basées sur les concepts qui interprètent les prédictions à travers des concepts compréhensibles par l’humain (par exemple, des motifs visuels, des attributs sémantiques, des thèmes) plutôt que des pixels bruts ou des tokens. Nous discutons de la manière dont les méthodes basées sur les concepts complètent les techniques d’attribution et facilitent l’évaluation des modèles dans des contextes à haute dimension.

Les sessions pratiques comprennent des études de cas guidées sur des données tabulaires, d’images et de textes.

Logiciels
● Python
● Cahiers Google Colab (compte Google requis)

Matériel
● Un ordinateur portable standard suffit
● Aucun GPU requis

Prérequis
● Connaissances de base en Python (capacité à lire et à comprendre du code)

VENDREDI 8 MAI 2026 – 9 h 00 à 16 h 45
Fondements statistiques et mathématiques de l’alignement des préférences humaines dans les grands modèles de langage.
Formateur – Jiancong Xiao, University of Pennsylvania

Ce cours examine les fondements statistiques et mathématiques de l’alignement des grands modèles de langage sur les préférences humaines diverses.

Le cours s’articule en quatre parties :
1. Aperçu de l’alignement des préférences humaines et des algorithmes tels que RLHF, DPO, NLHF et leurs variantes.
2. Hypothèses statistiques sous-jacentes à la modélisation des préférences, en mettant l’accent sur le modèle de Bradley-Terry (BT) et ses biais algorithmiques, y compris les risques d’effondrement des préférences minoritaires.
3. Limites statistiques fondamentales de l’alignement des préférences, y compris les résultats d’impossibilité liés à la préservation des préférences minoritaires.
4. Liens avec la théorie du choix social, présentant un cadre unifié pour un alignement satisfaisant les axiomes du choix social.

Logiciels
● Python
● PyTorch
● OpenRLHF

Matériel
● GPU recommandé pour les démonstrations pratiques
● Colab GPU ou environnement équivalent

Prérequis
● Maîtrise de Python
● Connaissances de base en probabilités et statistiques
● Familiarité avec les concepts d’apprentissage automatique