Suivi multiobjet en situation urbaine à l'aide de la programmation par contraintes

Ce mémoire présente une nouvelle approche pour effectuer le suivi de plusieurs objets utilisant la programmation par contraintes (CP) pour transformer une série de détections d'usagers de la route en un ensemble de trajectoires. Au meilleur de nos connaissances, il s'agit d'une première tentative de combiner le suivi d'objets et la programmation par contraintes. De nombreuses applications pourront bénéficier des avancées concernant la formation de trajectoires par le suivi multiobjet, notamment dans le domaine de la sécurité routière où l'identification de sites potentiellement dangereux permettrait d'éviter de futurs accidents de la route. Sur une note plus technique, exprimer le problème du suivi multiobjet dans un cadre CP demande tout d'abord la formulation d'un modèle exprimé à l'aide d'un ensemble de variables à domaine fini et de contraintes s'appliquant sur ces variables. Pour que la modélisation soit un succès, il faut à la fois que les contraintes correspondent le mieux possible à la définition du problème, soit d'associer chaque détection d'objet à son identité trame après trame en se basant sur des images, mais également que ces contraintes soient suffisamment faciles à propager de telle sorte que la résolution prenne le moins de temps possible. De manière appliquée, les contraintes de notre modèle restreignent les déplacements considérés comme étant acceptables pour un même objet d'une trame à l'autre. Des contraintes préservant l'apparence de chaque objet tout au long de leur trajectoire ont également été ajoutées au modèle. Une grande partie du travail du suivi multiobjet consiste à corriger des erreurs commises lors de l'étape de détection des objets d'intérêt. Certains de ces objets demeurent quelques fois non identifiés alors que d'autres fois, ce sont des parties de l'arrière-plan telles que des panneaux de signalisation qui sont identifiés comme étant d'intérêt. Une méthode de filtrage corrigeant ces anomalies a donc été développée et appliquée sur l'ensemble des détections avant même de commencer la phase d'association. Cette méthode implique l'utilisation de techniques de suivi d'un seul objet (SOT) servant à prédire l'ajout de nouvelles détections.

Abstract

This thesis introduces a new method for multiple object tracking (MOT) using constraint programming (CP). More specifically, the goal of this work is to solve the data association phase where sets of individual detections are combined together to form trajectories. To the best of our knowledge, this is the first attempt to use CP in a visual tracking context. Since trajectories are the building blocks of numerous applications, especially in the field of road safety, identifying dangerous road crossings may lead to faster urban planner interventions. These interventions should reduce the mortality caused by road accidents. Tracking multiple objects at the same time through the use of constraint programming requires first to define a CP model. A CP model is made of finite domain variables and constraints restraining the domain possibilities in order to obtain a solution at the end having only one possible value per variable. To be successful, a model needs to correctly represent the problem, i.e. match each road user detection to an identity shared across multiple frames. It also needs to be easy to propagate, otherwise, the solver will not be able to find a solution in an acceptable amount of time. The constraints defined in this work address the motion of each objects by forbidding unlikely movements, but also make sure to preserve the general appearance between detections of a same trajectory. Correcting the detector mistakes is an important task of MOT algorithms. Many errors of different types (e.g., missing objects of interest or identifying background regions as road users) are made before the data association step, causing a significant drop in the tracking results. A filtering method is proposed in this thesis in order to improve the set of detections given as input to the CP model. The main part of this process is the use of visual object tracking (VOT) techniques to predict where detections are missing and adding new boxes to fill in these gaps.