Video Future Frames Prediction by Deep Generative Models

Des efforts considérables ont été investis dans le développement des systèmes intelligents pour la prédiction des images futures d’une vidéo, car il s’agit d’un problème fondamental et extrêmement complexe de recherche en vision par ordinateur. La prédiction des images futures d’une vidéo revêt une importance cruciale dans le développement d’agents intelligents basés sur la vision par ordinateur pour des tâches telles que la navigation robotique, la conception de systèmes de contrôle, la planification d’itinéraires, l’apprentissage par renforcement basé sur les modèles, etc. Notamment, la prédiction des images futures d’une vidéo gagne en popularité récemment en tant que méthode d’apprentissage de représentation auto-supervisée et méthode de génération de contenu vidéo pour l’industrie du divertissement. Prédire les images futures dans les vidéos pose d’importants défis en raison de divers facteurs, tels que la difficulté à apprendre des représentations à partir de données vidéo de haute dimension et à aborder la stochasticité inhérente des événements futurs lors de la prédiction. Dans cette thèse, nous présentons une série de méthodes utilisant des modèles génératifs profonds pour relever les défis non résolus de la prédiction des images futures d’une vidéo, par exemple le besoin de modèles évolutifs et efficaces pour l’apprentissage des caractéristiques vidéo de haute dimension, le besoin de modèles génératifs plus expressifs pour une meilleure prédiction stochastique et une prédiction continue temporelle. La première méthode introduit un modèle efficace basé sur les Transformers (réseaux autoattentifs) pour la prédiction des images futures d’une vidéo. Pour surmonter les inconvénients des techniques de modélisation spatio-temporelle existantes, un encodeur CNN comprime d’abord les images vidéo d’entrée dans un espace latent de plus basse résolution. Ensuite, une nouvelle famille de modèles de prédiction basés sur les Transformers est utilisée pour prédire les représentations des images futures dans cet espace latent. Enfin, un décodeur CNN reconstruit les images futures sur la base des représentations prédites. Notamment, ces prédicteurs basés sur les Transformers sont construits en utilisant un bloc Transformer personnalisé conçu spécifiquement pour l’apprentissage de représentations vidéos. Ce bloc utilise une attention de séparation spatio-temporelle locale pour réduire la complexité computationnelle inhérente aux blocs Transformers standards. Nos modèles de prédiction des images futures d’une vidéo basés sur les Transformers atteignent des performances comparables à celles des réseaux de mémoire à court terme convolutifs (LSTM) plus complexes, et le modèle non-autorégressif réduit significativement les erreurs accumulées dans la prédiction des images futures de vidéos. Le deuxième travail introduit un modèle d’apprentissage multi-tâches unifié pour la synthèse vidéo conditionnelle continue, abordant simultanément des tâches telles que la prédiction des images futures d’une vidéo et l’interpolation d’images d’une vidéo. Initialement, les images vidéo d’entrée sont compressées à l’aide d’un encodeur CNN amélioré par auto-attention, suivi d’un prédicteur Transformer non-autorégressif pour générer des représentations d’images cibles et d’un décodeur CNN pour la reconstruction des images futures. Notamment, ce travail reformule la prédiction vidéo comme un processus neuronal, cartographiant les coordonnées spatio-temporelles sur les valeurs de pixels conditionnées par les images contextuelles et les coordonnées, exploitant l’invariance aux permutations des processus neuronaux pour effectuer plusieurs tâches de synthèse d’images conditionnées avec un seul modèle. De plus, un VAE aborde la stochasticité au niveau de la séquence, permettant une prédiction vidéo stochastique. De plus, contrairement aux méthodes traditionnelles limitées à la prédiction discrète d’images, ce modèle réalise une prédiction continue temporelle grâce à une représentation neuronale implicite. Notre modèle dépasse les performances des modèles précédents en matière d’interpolation d’images vidéo et de prédiction continue des images futures d’une vidéo. Le troisième travail propose un modèle de diffusion spatio-temporelle pour améliorer l’expressivité des modèles stochastiques de prédiction des images futures d’une vidéo et ainsi augmenter la diversité de la prédiction stochastique. Il décompose d’abord le mouvement vidéo et les informations de contenu passées, agrégeant le mouvement passé via un réseau récurrent convolutif à portes et prédisant les caractéristiques de mouvement futures à l’aide d’une équation différentielle stochastique neuronale. Les images vidéo futures sont générées de manière autorégressive par un modèle de diffusion d’images conditionné par les caractéristiques de mouvement prédites et l’image précédente. Bénéficiant d’une plus grande expressivité, notre modèle de diffusion spatio-temporelle démontre des performances de pointe en termes de qualité visuelle des vidéos prédites et de diversité sur plusieurs ensembles de données. En résumé, cette thèse présente une série de méthodes utilisant des modèles génératifs profonds pour la prédiction des futures images vidéo, en abordant des défis tels que l’apprentissage efficace de caractéristiques spatio-temporelles de haute dimension, la prédiction continue et l’amélioration de la diversité des prédictions stochastiques.