Real-Time Vehicle Detection and Tracking From Surveillance Cameras in Urban Scenes

En vision par ordinateur, la manipulation de vidéos de caméras de surveillance pour extraire des informations sur les usagers de la route est un domaine de recherche très actif et bien étudié. Dans le cadre de ce memoire, nous nous intéressons à la détection et le suivi des véhicules en milieux urbains au moyen d'une approche de suivi par détection. Nous nous sommes spécifiquement concentrés sur la mise en œuvre d'une méthode qui effectue les tâches ci-dessus en temps réel tout en améliorant les performances, en particulier dans des cas de grands déplacements spatiaux et/ou des occlusions à long terme. Composée de deux étapes, notre méthode génère les détections à l'aide du modèle SpotNet pour localiser les véhicules dans des trames vidéo et fournir des informations telles que leurs boîtes englobantes, la catégorie de véhicule et le score de confiance. Ensuite, nous étendons une méthode de suivi multi-objets basée sur la métrique IOU et le suivi visuel pour les occlusions à court terme, appelée V-IOU, avec des caractéristiques de ré-identification pour effectuer l'association des données et construire les trajectoires finales. A chaque trame, la détection qui atteint le score IOU le plus élevé avec une trajectoire existante est ajoutée à cette derniere. Lorsqu'une trajectoire n'est pas reliée à une nouvelle détection, une méthode de suivi visuel est utilisée pour prédire les emplacements suivants de l'objet, compensant ainsi les occlusions à court terme. Nous proposons de combiner le score IOU avec la similarité cosinus entre les vecteurs de ré-identification de la paire détection/trajectoire. Les vecteurs de ré- identification décrivent l'apparence du véhicule à travers des images prises à différents angles et/ou moments, ce qui nous permet de faire correspondre les véhicules dans des scénarios avec de plus longues périodes d'occlusions et/ou un grand déplacement spatial dû à une vitesse relativement élevée, qui donnent des boîtes englobantes éloignées.

Abstract

In computer vision, mining videos from surveillance cameras for information about road users is a very active and well-studied area of research. This work focuses on vehicle detection and tracking in urban settings using a tracking-by-detection approach. We specifically focused on implementing a method that performs the above tasks in real-time while improving per- formance, especially with large spatial displacements and/or long-term occlusions. Composed of two steps, our method generates candidate detections using the SpotNet model to locate the vehicles in video frames and to provide information such as their bounding boxes, vehicle category and confidence score. Next, we extend a multi-object tracking method based on the IOU metric and visual object tracking for short-term occlusions, referred to as V-IOU, with re-identification features to perform data association and construct the final trajectories. At each frame, the detection that achieves the highest IOU score with an existing track is added to this trajectory. When a track is not linked to a new detection, a visual tracking method is used to predict the next few locations of the object, thus compensating for short- term occlusions. We propose to combine the IOU score with the cosine similarity between the re-identification feature vectors of the detection/track pair. The re-identification cues describe the vehicle appearance through images taken at different angles and/or times, hence allow us to match the vehicles in scenarios with longer periods of occlusions and/or a large spatial shift due relatively high speed that create distant bounding boxes.