Analysis of CNN Computational Profile Likelihood on Adversarial Attacks and Affine Transformations

Les réseaux d'apprentissage automatique peuvent être vulnérables lorsqu'il s'agit de classer les entrées qui sont hors de la distribution observée pendant l'entraînement. Pour identifier ces cas, qui pourraient être interprétés différemment et éventuellement mal classés à cause de cette différence, nous proposons une approche non paramétrique basée sur les classes, inspirée de Surprise Adequacy Deep Learning Likelihood (SADL). Nous ciblons la partie entièrement connectée des réseaux de neurones convolutifs (CNN) et estimons la probabilité conditionnelle des niveaux d'activation des neurones internes d'un réseau pendant la reconnaissance. Les distributions observées lors de l'entraînement et des tests sont prises comme point de référence et sont comparées à celles observées lors du traitement des profils de calcul d'autres cas non familiers tels que les attaques adversariales et les transformations affines. Deux catégories de ces entrées non familières sont considérées: celles qui sont dans la distribution des entrées d'entraînement (In-Distribution - InD) et celles qui sont hors distribution des entrées d'entraînement (Out-Of-Distribution - OOD). Un seuil linéaire basé sur sigma est utilisé pour séparer les cas InD des cas OOD. Toutes les expériences sont effectuées sur des CNN entraînés à l'aide d'un sous-ensemble de la base de données MNIST-fashion, qui est un ensemble d'images de vêtements accessible au public. Pour éliminer les biais associés à l'utilisation d'un seul réseau, des expériences finales sont effectuées sur dix réseaux avec des structures différentes et cinq variantes d'un réseau entraîné sur les mêmes entrées.

Abstract

Machine learning networks can be vulnerable when it comes to classification of inputs that are out of the distribution that is observed during training. To identify these cases, which could be interpreted differently and possibly misclassified due to this difference, we propose a non-parametric class-based approach based on Surprise Adequacy Deep Learning Likelihood (SADL).We target the fully connected part of Convolutional Neural Networks (CNNs) and estimate the conditional probability of a network's internal neuron activation levels during recogni- tion. The distributions observed during training and tests are taken as a point of reference and compared with those observed when processing computational profiles of other unfa- miliar cases such as adversarial attacks and affine transformations. Two categories of these unfamiliar inputs are considered: those that are In-Distribution (InD) of the training inputs, and those that are Out-Of-Distribution (OOD) of the training inputs. A linear sigma-based threshold is used to separate the InD cases from the OOD cases. All experiments are performed on CNNs trained using a subset of the MNIST-fashion database, which is a publicly available set of clothing images. To eliminate bias associated with using one single network, final experiments are performed on ten networks with different structures and five variants of one network trained on the same inputs.