Adaptation de domaine non supervisée pour la ré-identification de personnes dans des vidéos

La ré-identification de personnes (ReID) vise à faire correspondre les identités de personnes à travers un réseau de caméras de vidéosurveillance. Cette tâche de reconnaissance précise est un élément clé de plusieurs tâches d'analyse vidéo dans les réseaux de caméras connectées à grande échelle dans les villes intelligentes, telles que le suivi multi-objets multi-caméras ou la recherche de personnes. C'est une tâche difficile en raison de la grande variation intra-classe causée par plusieurs facteurs, par exemple la pose, le point de vue, l'arrière-plan, l'éclairage, les occlusions, l'étalonnage de la caméra, etc. Malgré ces difficultés, les modèles d'apprentissage profonds ont récemment considérablement amélioré les performances des méthodes de ReID de personnes, dépassant même la précision humaine. Un réseau de ReID apprend à générer des caractéristiques discriminantes encapsulant l'identité d'une personne tout en étant indépendant des facteurs de variation intra-classe. Cependant, cette affirmation n'est vraie que dans un cadre supervisé dans lequel nous avons accès à un ensemble d'entraînement d'images annotées du domaine. Les caractéristiques de ReID ne se généralisent pas bien. Lorsque les réseaux sont appliqués à un domaine différent de celui sur lequel ils ont été entraînés, les performances des modèles ReID s'effondrent car les vecteurs de caractéristiques en sortie ne sont pas adaptés à ce nouveau domaine. Les images du nouveau domaine peuvent être très différentes des images d'entraînement en raison de l'environnement, de l'éclairage, du point de vue, des paramètres et du modèle de caméra différents, etc. Toutes ces variations viennent s'ajouter aux variations intra-classe, et le réseau de ReID échoue car il n'est pas entraîné pour y faire face.

Abstract

Person re-identification (ReID) aims at matching pedestrian identities across a non-overlapping video surveillance camera network. This fine-grained recognition task is a key component for several video analysis tasks in connected large-scale camera network in smart cities, such as multi-target multi-camera tracking or person retrieval. It is a challenging task due to the large intra-class variation caused by multiple factors, for example pose, viewpoint, background, lighting, occlusions, camera calibration, etc. Despite these difficulties, deep learning models have recently improved significantly the performance of person ReID methods, even surpassing human accuracy. A ReID network learns to generate discriminative features encapsulating the identity of a person while being independent to the intra-class variations factors. However, this statement is only true in a supervised setting in which we have access to a training set of domain-related labelled images. ReID features do not generalize well. When the networks are applied to a domain different from the one they were trained on, the performance of ReID models collapses since the output feature vectors are not adapted to this new domain. Images from the new domain can be widely different from the training images because of different environment, lighting, viewpoint, camera settings and model, and so on. All added variations are factoring with the intra-class ones, and the ReID network fails since it is not trained to deal with these.