Cette page dédiée présente l’un des thème / domaine stratégique actuellement en discussion dans le cadre de notre Programme de financement de recherche stratégique. L’ensemble des thèmes / domaines en discussion est indiqué sur la page du programme. Chaque page dédiée (y compris celle-ci) peut être à un niveau de détail et de maturité variable. Pour participer à la discussion sur ce thème ou en proposer de nouveaux, veuillez utiliser ce formulaire. Si vous souhaitez être tenu.e au courant des développements autour de ce thème / domaine, inscrivez-vous ci-dessous.

Artificial Intelligence to represent human behavior in multi-agents systems

Description et justification du domaine

La cyberrésilience représente la capacité d’un système ou d’un algorithme à résister à une cyberattaque réussie, c’est-à-dire une cyberattaque qui parvient à contourner les moyens de protection. De nombreux travaux de recherche s’intéressent à l’apport des technologies reposant sur l’Intelligence Artificielle pour renforcer les fonctions de détection des cyberattaques ainsi que les capacités des systèmes à répondre efficacement aux cyberattaques. Certains de ces travaux commencent également à utiliser l’intelligence artificielle pour renforcer la cyberrésilience des systèmes. L’ensemble de ces travaux est tout à fait pertinent. D’après les statistiques, le coût de la gestion de crise pour les entreprises équipées de ce type de solution reposant sur l’intelligence artificielle serait réduit de 60 à 70%.

Cependant, un récent rapport publié par la firme israélienne Adversa, considère que presque tous les algorithmes d’IA sont vulnérables aux cyberattaques. Pour cela, les cyberattaquants utilisent des techniques d’empoisonnement des données (« data poisoning » en anglais), c’est-à-dire l’injection de données fausses ou déroutantes dans un système afin d’en détourner le fonctionnement de l’IA. Ainsi, des études ont déjà démontré qu’il suffisait d’injecter dans les données d’entraînement d’un réseau de neurones des exemples spécifiques pour attaquer l’algorithme. Pour illustrer le problème, on peut faire croire à une IA entraînée à reconnaître la signalisation routière qu’un panneau d’arrêt est plutôt un panneau de limite de vitesse grâce à un petit autocollant appliqué sur la signalisation.

En fait, il existe plusieurs formes d’attaques qui peuvent être menées contre les algorithmes d’IA.

Un premier type d’attaque consiste à inonder un système d’apprentissage automatique pour complètement fausser son apprentissage. « C’est ce qu’on trouve notamment dans les agents conversationnels (« chatbots » en anglais). Comme le système apprend au fur et à mesure des échanges qui se font avec les utilisateurs, ces derniers arrivent à détourner le chatbot pour lui faire avoir, par exemple, un comportement raciste.

La deuxième approche tient plutôt de l’évasion. Un individu qui aurait des connaissances sur un système d’apprentissage machine pour faire de la surveillance pourrait avoir un comportement malveillant qui ne serait pas détecté. Ce type d’attaque a déjà été mis en œuvre dans les systèmes de contrôle d’industriel. L’exemple le plus connu est Stuxnet, la cyberattaque contre le centre d’enrichissement de l’uranium iranien de Natanz. Dans ce cas, la cyberattaque incluait un module d’apprentissage automatique du fonctionnement « normal » de la centrifugeuse pour ensuite injecter des fausses données pour rendre indétectable l’attaque Stuxnet par le système de supervision SCADA (Supervisory Control and Data Acquisition).

Enfin, il existe la méthode d’apprentissage automatique adverse, qui consiste à injecter des données bien choisies dans un modèle d’apprentissage automatique, de manière à changer la classification de celles-ci. Dans ce dernier cas, l’attaquant pourrait faire en sorte qu’un comportement malveillant soit au bout du compte classé comme un comportement normal par le système.

Certains cyberattaquants utilisent cette stratégie pour déjouer les systèmes antipourriels (« anti-spam » en anglais) ou les systèmes antifraudes déployés par les institutions financières. En indiquant au fournisseur de courriel qu’un grand nombre de pourriels sont en fait légitimes, ces pirates parviennent à prévenir leur détection par l’algorithme. Plusieurs travaux ont également étudié la réalité de ce type d’attaques pour détourner les algorithmes de détection d’intrusion reposant sur les techniques d’apprentissage automatique de comportements malveillants.

La mise en place de moyens de générer automatiquement ces types d’attaques dans un premier temps permettra de mieux les analyser et de les reproduire sous une autre forme pour une meilleure explicabilité. Il s’agira notamment de développer un simulateur de ce type d’attaque de manière à pouvoir analyser la faisabilité et l’impact des différents types d’attaque. Ensuite, ces éléments ainsi obtenus seront à la base de la conception de stratégies de contremesures pour une IA résiliente aux cyberattaques.

(Ajout 22/07) Ce domaine est stratégique car l’intelligence artificielle est une composante nécessaire dans la chaîne des traitements des analyses de cyber-securité des applications, des réseaux de télécommunication et des infrastructures. Cela à cause du grand volume des besoin de vérifications et validation de sécurité et des besoins de protection contre la pression grandissante des attaques cyber-informatiques qui peuvent avoir des conséquences désastreuses pour les compagnies ciblées.

Malheureusement, les modèles intelligents sont susceptible eux mêmes d’être attaqués à cause de leur importance dans la chaîne défensive.

Le thème vise à étudier des méthodes pour renforcer la protection des modèles intelligents et leur résilience en cas d’attaque.

Contexte

Mots-clefs :

  • Cybersécurité, Cyberrésilience, Apprentissage automatique adverse, Empoisonnement des données
  • (ajout 22/07) cyber-securité (applications, réseaux de télécommunication, infra-structures), robustesse du ML, résilience du ML, résistance aux bruit et à l’empoisonnement et à la manipulation malicieuse des données, validation et tests du ML par rapport à des attaques simulés (attaques adversariales, transformation des données, injection de perturbations, etc.), test de mutation et de pénétration

Organisations pertinentes :

  • (ajout 22/07) « Tous les partenaires industriels, publiques ou gouvernementaux avec du ML impliqué dans la chaine de prévention ou protection contre les vulnérabilités et les attaques cyber-informatiques

Personnes pertinentes suggérées durant la consultation :

Les noms suivants ont été proposés par la communauté et les personnes mentionnées ci-dessous ont accepté d’afficher publiquement leur nom. Notez cependant que tous les noms des professeur.e.s (qu’ils soient affichés publiquement ou non sur notre site web) seront transmis au comité conseil pour l’étape d’identification et de sélection des thèmes stratégiques. Notez également que les personnes identifiées durant l’étape de consultation n’ont pas la garantie de recevoir une partie du financement. Cette étape sert avant tout à présenter un panorama du domaine, incluant les personnes pertinentes et non à monter des équipes pour les programmes-cadres.

  • Foutse Khomh
  • Amal Zouaq
  • Ettore Merlo

Programmes-cadres potentiels

(pas de programmes-cadres potentiels pour le moment)

Documentation complémentaire

(pas de documentation complémentaire pour le moment)

Intéressé.e? Entrez votre courriel pour recevoir les mises à jour en lien avec cette page :

Historique

13 juillet 2021 : Première version

15 juillet 2021 : Ajout de personnes pertinentes

22 juillet 2021 : Compléments d’information dans les sections “Description et justification” et “Contexte” (mots-clefs, organisation et personnes pertinentes)