Suivi multi-objets : au-delà des vecteurs de réidentification pour l'association de données

Le suivi multi-objets consiste à détecter et à attribuer une identité unique à des objets d’intérêt, tels que des piétons et des véhicules, dans une vidéo. Appliqué au génie des transports, il peut permettre d’obtenir les trajectoires des usagers de la route et notamment d’identifier des événements potentiellement dangereux qui ont été évités de justesse. La tâche de suivi peut se décomposer en deux sous-tâches : celle de détection qui consiste à localiser les objets à chaque trame et celle d’association qui consiste à déterminer les détections qui appartiennent au même objet. Cette thèse s’intéresse à la tâche de suivi multi-objets dans le cadre du domaine des transports et en particulier à la sous-tâche d’association. En effet, malgré l’introduction de nombreuses mesures de performance et de bases de données sur le suivi multi-objets, celles-ci présentent des biais. Tout d’abord, la mesure principale MOTA capture principalement la qualité de la détection au détriment de l’association. Ensuite, les bases de données contiennent principalement des vidéos où les objets d’intérêt ont des apparences variées et des mouvements linéaires. Cela a naturellement poussé à l’apparition de nouvelles méthodes de détection et a privilégié des mesures d’affinité basées sur des descripteurs visuels et sur des modèles de mouvement linéaire. La première étude présentée porte sur une méthodologie de comparaison entre des descripteurs visuels. Étant donnée une détection d’un objet à un instant d’une vidéo, l’objectif est de retrouver la détection correspondant au même objet à un second instant. Cette recherche est faite en décrivant les détections par un descripteur visuel et en comparant les vecteurs de représentation à l’aide d’une mesure d’affinité. Cette étude a montré que les approches à base de vecteurs de réidentification sont les plus performantes, en plus de présenter une grande robustesse vis-à-vis de l’écart temporel entre les détections et de leur qualité. Dans un second temps, une approche concurrente aux vecteurs de réidentification est présentée. En effet, ces vecteurs sont vulnérables aux cas d’occlusion lorsqu’un objet secondaire occulte un objet principal. Une localisation des objets à l’échelle du pixel permet de gérer plus exactement la sous-tâche d’association. En particulier, ce travail développe une mesure d’affinité mesurant la capacité à reconstruire une séquence de détections à partir d’une autre séquence de détections. Celle-ci repose sur des réseaux à mémoire spatio-temporelle [1] capables de retrouver la position d’un objet dans une trame adjacente. Cette mesure d’affinité est intégrée à un algorithme de suivi nommé MeNToS, pour Memory Network-based Tracker of Segments. Il atteint l’état de l’art sur deux jeux de données centrés sur les usagers de laroute. Enfin, dans un troisième temps, une autre approche concurrente aux vecteurs de réidentification est présentée. En effet, ces vecteurs sont aussi vulnérables au cas où les objets ont une apparence similaire. Une approche basée uniquement sur la position et le mouvement permet de gérer plus exactement la sous-tâche d’association. En particulier, ce travail développe une mesure d’affinité mesurant la capacité à discriminer des paires de séquences de détections appartenant au même objet ou non. Celle-ci repose sur les réseaux Transformer, qui ont été développés pour décrire des séquences et des ensembles et sont capables de retrouver des schémas en considérant le contexte. Cette mesure d’affinité est nommé TWiX, pour Tracklets in Windows et repose sur des paires, comme les fameuses barres de chocolat. L’algorithme de suivi C-TWiX intègre cette mesure d’affinité et atteint l’état de l’art sur trois jeux de données. Finalement, cette thèse présente une première analyse sur les vecteurs de description visuelle qui montre que les vecteurs de réidentification sont ceux qui sont les plus adéquats quant à l’association de données. Puis, deux approches innovantes sont proposées pour palier quelques faiblesses des vecteurs de réidentification. La première repose sur une approche générative et la seconde sur une approche purement discriminante.