Systèmes hybrides logiques-continus et auto-antagonistes pour l'apprentissage machine en présence d'un adversaire

Certaines tâches cognitives extrêmement simples pour des humains ne peuvent être automatisées avec les principes classiques de programmation. La vision par ordinateur, par exemple, ne saurait être programmée avec des règles impératives : personne ne peut donner de règles précises et simples à une machine pour détecter un chat dans une image, car des milliers de conditions différentes pourraient rendre la règle caduque : présence partielle du chat, surexposition de l'image, races de chat diverses... Pour pallier ce manque, l'Intelligence Artificielle simule les effets les plus basiques de l'intelligence humaine. Il est possible d'automatiser des tâches cognitives de base, comme reconnaissance de la parole, des visages... Il y a quelques années, les réseaux de neurones profonds ont commencé à se démarquer. Depuis lors, les réseaux de neurones profonds et les algorithmes d'Intelligence Artificielle de nouvelle génération sont en passe de lancer une nouvelle révolution industrielle. Ces systèmes permettent d'appendre une approximation du comportement désiré à partir d'un ensemble de données d'entraînement et dépassent à l'heure actuelle les performances humaines sur certaines tâches précises. Mais ces systèmes présentent des failles : Les réseaux de neurones peuvent émettre de fausses valeurs quand ils sont soumis à des données empoisonnées par un adversaire malveillant, autant dans leur phase l'entraînement que dans leur phase d'inférence.

Abstract

Computer programs are traditionnally created with lines of code, that crate a controlled, deterministic way of programming a computer. With time, various amounts of abstractions and ergonomics have been created to help the programmer input more complex programs, in order to execute incredibly complex, real-life tasks. However, this abstraction-leverage approach does not work for some of the simplest cognitive tasks a human being can do without even thinking about it. Computer Vision is a good example : we can not create a simple set of rules to identify a cat in a picture, because of the image blur, the various races of cats, the position of the cat within the frame, the fact that object can hide parts of the cat... On these kind of tasks, Artificial Intelligence has made great progress, thanks to the era of Big Data, the power of GPUs for massively parallel processing, and the idea of Convolutional Neural Networks. Now, on various cognitive tasks, these systems have achieved suprahuman performances. These tasks range from detecting face recognition to cancer detection on lung radioscopies. The outstanding performances are bound to bring forth a new Industrial Revolution, but one problem remains : these systems are extremely vulnerable to poisonous data, crafted by a malicious adversary. The issues are numerous, and the threat can grow up to a massive scale : AI algorithms already take the driver seat of our cars, advise banks for moneylending, and get to a position of trusted partner of humans, a key position already attacked by malicious state-sponsored hackers. Our contribution is a study of the robustness of hybrid systems, made of logical systems as well as statistical systems, in the context of adversarial training. We give intuition and experiments why these systems could be more robust on some datasets, and try an attack with the CleverHans module to see the robustness of both algorithms.