Active Learning, Controllable Generative Models and Dataset Augmentation

D’une part, la création et l’augmentation d’ensembles de données sont des tâches cruciales pour l’apprentissage profond. L’accès à des jeux de données d’images de grande échelle a été essentiel au succès des modèles d’apprentissage profond en vision par ordinateur. Cependant, l’acquisition de grandes collections de données comporte des défis. D’autre part, les modèles génératifs gagnent en intérêt dans des applications créatives, ainsi que pour relever certains des défis de la création de datasets. Toutefois, les modèles génératifs ont des défauts qui empêchent leur usage dans les applications susmentionnées. Plusieurs défis se posent lors de la création et de l’augmentation d’ensembles de données. Dans cette thèse, trois de ces défis sont considérés. Tout d’abord, la collecte d’échantillons et de leurs étiquettes peut s’avérer coûteuse, car leur catégorisation nécessite souvent une intervention humaine qui peut requérir les connaissances d’experts. Deuxièmement, il peut être particulièrement difficile de collecter des échantillons à partir de scénarios improbables ou nouveaux. Troisièmement, les ensembles de données présentent souvent des biais qui peuvent encourager un modèle à mal représenter la vraie distribution des données et à apprendre des corrélations nuisibles. Dans le cadre de cette thèse, les biais proviennent de catégories ou d’étiquettes sous- ou sur-représentées, ce qui produit des jeux de données à longue traîne et des ensembles de données avec peu ou pas d’échantillons associés à certaines étiquettes. Ces étiquettes catégorisent non seulement les objets individuels, les animaux, les plantes et les scènes complètes dans un ensemble de données, mais aussi leurs cooccurrences dans des scènes. Par conséquent, l’objectif de recherche de cette thèse est de proposer de nouvelles méthodes pour relever ces défis de création et d’augmentation d’ensemble de données. Dans cette thèse, deux approches sont considérées : la collecte de données réelles par un apprentissage actif et l’utilisation de modèles génératifs pour générer des données synthétiques. Les modèles génératifs ont leurs propres lacunes. Ils exposent leur compromis entre qualité des images générées et complexité des données modélisées, et ils font preuve d’une généralisation limitée. De plus, ils héritent et exacerbent les biais des données réelles. Finalement, une génération contrôlée requiert des étiquettes qui peuvent ne pas être disponibles ou coûteuses à obtenir. C’est pourquoi le deuxième objectif de recherche de cette thèse est de combler les lacunes susmentionnées des modèles génératifs. La première contribution propose une nouvelle politique d’apprentissage actif d’étiquetage, entraînée via un apprentissage par renforcement, qui sélectionne les échantillons à étiqueter et les ajoute à une base de données sémantique pour l’agrandir. D’une part, le coût de l’extension de l’ensemble de données est réduit, car moins d’échantillons étiquetés sont nécessaires pour atteindre une performance cible. D’autre part, les biais dans le jeu de données initial sont atténués, car davantage d’échantillons de catégories sous-représentées sont sélectionnés par la politique proposée. Les trois contributions suivantes se concentrent sur l’amélioration des modèles génératifs, en particulier les réseaux antagonistes génératifs (GANs), afin de relever les défis susmentionnés. La deuxième contribution présente une analyse et des améliorations aux modèles génératifs conditionnels de scènes complexes. Cette analyse révèle que les modèles de l’époque ne parvenaient pas à s’adapter aux données des catégories à longue traîne et généralisaient de manière médiocre lors de génération de nouvelles scènes. La troisième contribution présente un nouveau modèle génératif appelé Instance-Conditioned GAN (IC-GAN). IC-GAN modélise la distribution de jeux de données complexes via une approche non-paramétrique, en se conditionnant sur un point de données et en apprenant la distribution de son voisinage. Le modèle présente une remarquable généralisation aux distributions d’ensembles de données inconnus, améliore la qualité et la diversité des images générées contenant des classes sous-représentées et offre un contrôle sur la sémantique globale des images sans utiliser d’étiquettes. La quatrième contribution étend IC-GAN pour permettre un contrôle précis au niveau des objets, offrant une nouvelle façon de contrôler la génération de scènes complexes sans étiquettes sémantiques, et qui généralise à de nouvelles scènes. Enfin, dans la cinquième et dernière contribution, IC-GAN est utilisé comme un outil d’augmentation pour agrandir un ensemble d’entraînement de modèles de classification d’images. Il en résulte une augmentation des performances du modèles dans certaines configurations, ce qui valide l’utilisation du modèle génératif proposé précédemment pour bonifier les ensembles d’entraînement. Cette contribution est un pas vers l’amélioration de la classification d’images sans avoir à étiqueter de nouvelles données réelles supplémentaires.