Visual Object Tracking Using Deep Similarity Networks

Le suivi d'objets est une des tâches fondamentales de la vision par ordinateur. Étant donné une cible initiale dans la première trame, l'objectif du suivi est de trouver la nouvelle position de la cible dans les trames subséquentes. Les filtres de corrélation est une technique largement utilisée dans les applications de reconnaissance de formes pour mettre en correspondance des objets. Ainsi, de nombreuses méthodes de suivi sont basées sur les filtres de corrélation. Bien que ces méthodes de suivi atteignent un bon compromis entre la précision et la vitesse de suivi, leurs performances sont limitées par l'utilisation de caractéristiques d'apparence définies manuellement. Récemment, les méthodes d'apprentissage profond ont démontré des résultats impressionnants dans diverses tâches de vision par ordinateur. De ce fait, un grand nombre de méthodes de suivi basées sur l'apprentissage profond ont été proposées pour améliorer la robustesse et la capacité à discriminer les objets durant le suivi. Cependant, la représentation des caractéristiques de la cible par un seul réseau neuronal convolutif (RNC) n'est souvent pas assez discriminante. De plus, l'architecture du RNC doit être choisie avec soins pour réduire le temps de calcul lors du suivi. Dans notre travail, nous avons exploré différentes méthodes pour améliorer le pouvoir discriminant d'un RNC pour le suivi d'un objet. Nous avons proposé deux méthodes de suivi, MBST (Multi-Branch Siamese Tracker) et MFST (Multiple Features-Siamese Tracker). Les deux méthodes sont basées sur des RNC avec une architecture siamoise. Cette architecture définit le suivi comme un problème d'apprentissage par similarité.

Abstract

In this thesis, we study visual object tracking using deep similarity networks. Visual object tracking is a fundamental task in computer vision. Many approaches based on correlation filters and deep learning have been proposed to solve this problem. Inspired by deep learning-based methods, we exploit the siamese network model to address object tracking, by formulating tracking as a similarity learning problem. Most deep learning methods only use features extracted from the last convolutional layer of a single model which lead their tracker to be prone to fail when target appearance changes significantly. Different features extracted from different convolutional models encode the target object in different ways. Trackers with diverse feature representations can be adapted more easily to challenging scenarios. Besides, the discriminative power of features from the last convolutional layer is very limited. Since convolutional features from different layers contain different levels of abstraction of the target object, discovering an appropriate scheme to fuse hierarchical features is also beneficial for tracking.