Building Robust Deep Learning Models for Visual Perception Tasks

L’Apprentissage Profond (Deep Learning - DL) a révolutionné de nombreux domaines, transformant fondamentalement notre manière d’aborder les problèmes complexes en vision par ordinateur, traitement du langage naturel et systèmes autonomes. Toutefois, malgré des avancées spectaculaires, ces modèles restent vulnérables aux perturbations adversariales et aux entrées inattendues, ce qui remet en question leur fiabilité dans des applications critiques. Cette préoccupation croissante est particulièrement marquée en vision par ordinateur, où les défaillances des modèles peuvent avoir de graves conséquences dans le monde réel. Garantir leur robustesse implique de relever plusieurs défis fondamentaux : identifier précisément les vulnérabilités des modèles, diversifier les scénarios de test pour mieux évaluer leur résilience, s’assurer que les perturbations utilisées pour ces évaluations restent réalistes, et enfin, développer des stratégies efficaces pour renforcer la fiabilité des modèles face aux attaques et aux changements de distribution des données. Dans cette étude, nous abordons ces défis sous deux angles complémentaires. D’abord, nous proposons une évaluation systématique des Générateurs d’Entrées de Test (Test Input Generators - TIGs) utilisés dans la classification d’images. Ces outils sont essentiels pour identifier les faiblesses des modèles en générant des entrées capables de révéler leurs limites. Cependant, leur efficacité varie selon plusieurs critères, notamment leur capacité à détecter des défauts, la diversité des entrées générées et l’authenticité des perturbations produites. Pour mieux comprendre ces aspects, nous analysons quatre TIGs de pointe, i.e., DeepHunter, DeepFault, AdvGAN et SinVAD; en les testant sur trois modèles pré-entraînés (LeNet-5, VGG16 et EfficientNetB3) et des ensembles de données de complexité croissante (MNIST, CIFAR-10 et ImageNet-1K). Nos résultats montrent que les approches basées sur des modèles génératifs, comme AdvGAN et SinVAD, sont particulièrement efficaces pour exposer des problèmes de robustesse sur des jeux de données simples, mais peinent à produire des résultats convaincants sur des distributions plus complexes. En revanche, les approches basées sur la perturbation, comme DeepHunter qui utilise le fuzzing guidé par la couverture et DeepFault qui exploite la localisation de fautes, offrent une meilleure stabilité et une performance plus homogène à travers différentes tâches. Ces observations soulignent la nécessité de concevoir des outils de test plus adaptatifs et capables de capturer la complexité croissante des ensembles de données du monde réel. Deuxièmement, nous explorons la segmentation d’images, un domaine où la robustesse des modèles est encore peu étudiée malgré son importance dans des applications critiques telles que l’imagerie médicale et la conduite autonome. Contrairement à la classification, où les fautes peuvent être détectées par des erreurs directes de prédiction, la segmentation exige des analyses plus fines, car les défaillances se traduisent par des erreurs localisées qui peuvent être difficiles à détecter avec des approches de test classiques. Pour pallier ce manque, nous introduisons le Test Métamorphique de Robustesse en Segmentation (SegRMT), une approche innovante combinant les tests métamorphiques avec des algorithmes génétiques afin de générer des entrées adversariales pertinentes. Testé sur le modèle DeepLabV3 avec le jeu de données Cityscapes, SegRMT démontre une capacité à détecter des vulnérabilités subtiles tout en améliorant la robustesse des modèles de manière plus efficace que les méthodes d’entraînement adversarial traditionnelles. Son innovation clé repose sur la génération de perturbations qui préservent la cohérence visuelle tout en exerçant un impact significatif sur les performances du modèle, grâce à une stricte maîtrise du rapport signal-bruit de crête (PSNR). Cette approche conduit à des améliorations notables en termes de généralisation, comme en témoignent les scores moyens plus élevés d’Intersection over Union (mIoU) lors de tests adversariaux croisés. Notre travail apporte une contribution majeure à l’assurance qualité en apprentissage profond, en proposant à la fois un cadre d’évaluation exhaustif des TIGs existants et une technique novatrice pour renforcer la robustesse des modèles de segmentation. Ces outils et méthodologies permettent aux praticiens d’évaluer plus efficacement et d’améliorer la fiabilité des systèmes d’apprentissage profond dans des applications critiques, contribuant ainsi au développement de systèmes d’IA plus résilients et fiables.