Multiple Object Tracking in Videos

In this thesis, we worked on improving the performance of multiple object tracking. Specifically, we aimed to design a method to deal better with missing detections and occlusions. Based on the IOU tracker, we added a Kalman filter and Re-ID appearance features to match the trajectories and the objects. The Kalman filter component is used to predict the position of the bounding boxes of objects when occlusions appear. And the Re-ID feature component contributes to matching the objects by measuring the distance of the features to determine whether they represent the same object, even if the objects are distant spatially. These components improved the robustness and accuracy of the IOU tracker. We tested and evaluated our model on the UA-DETRAC dataset. This dataset includes videos of traffic scenes in various scenarios. Our method is shown to outperform our baseline, IOU-tracker, by a very significant margin and getting state-of-art results on the dataset with the PR-MOTP metric. In the ablation study, we noted that even though the Kalman filter helps, the biggest contribution comes from combining the Re-ID feature with it. In future work, we will consider the physical distance of the objects in the image to decrease the computation cost and memory space necessary for the Re-ID features.

Résumé

Dans cette thèse, nous avons travaillé à l'amélioration des performances du suivi multiobjet. Plus précisément, nous avons étudié la conception d'une méthode pour mieux gérer les détections manquantes et les occlusions. En prenant comme base la méthode de suivi, IOUtracker, nous avons ajouté à celle-ci un filtre de Kalman et des caractéristiques d'apparence Re-ID pour améliorer les correspondances entre les trajectoires et les objets. La composante du filtre de Kalman est utilisée pour prédire la position des rectangles englobants des objets lorsque des occlusions apparaissent. Et la composante des caractéristiques Re-ID contribue à faire correspondre les objets en mesurant la distance entre des caractéristiques d'apparence visuelle pour déterminer si elles représentent le même objet, même si les objets sont éloignés spatialement dans les trames. Ces composantes ont amélioré la robustesse et la précision de IOU-tracker. Nous avons testé et évalué notre méthode sur l'ensemble de données UA-DETRAC. Cet ensemble de données inclut des vidéos de scènes de trafic automobile filmées dans divers scénarios. Nous démontrons que notre méthode surpasse la méthode de base, IOU-tracker, par une marge très significative et que nous obtenons des résultats surpassant l'état de l'art sur l'ensemble de données pour la métrique PR-MOTP. Dans l'étude d'ablation, nous avons noté que même si le filtre de Kalman aide le suivi, la plus grande contribution vient de la combinaison avec les caractéristiques de Re-ID. Dans les travaux futurs, nous considérerons la distance physique des objets dans l'image pour diminuer le coût de calcul et l'espace requis pour stocker les caractéristiques de ré-identification.