Suivi multiobjet de trafic mixte urbain

Notre recherche porte sur le suivi d'objets en milieux urbains. Elle vise l'extraction de la trajectoire des différents usagers de la route circulant à des intersections urbaines à des fins d'analyse de la sécurité routière. De nombreux accidents pourraient être évités chaque année en améliorant la géométrie et la signalisation des intersections en milieux urbains. Le problème est qu'il y a très peu de données concernant les accidents et aucune donnée concernant les situations dangereuses n'ayant pas engendré des accidents à une intersection. Il faut donc attendre qu'un ou plusieurs accidents graves surviennent afin d'avoir assez de données (via des rapports de police par exemple) pour améliorer la sécurité des intersections. Filmer les intersections et observer les interactions entre les usagers de la route afin d'identifier les problèmes n'est pas une solution viable vu le grand nombre d'heures de visionnement nécessaire pour observer une situation dangereuse. L'extraction automatique des trajectoires des usagers de la route à l'aide de la vision par ordinateur, suivie d'une analyse des trajectoires permettrait donc l'analyse d'une grande quantité de données et de localiser les interactions dangereuses entre ceux-ci. Les informations ainsi récoltées permettraient aux ingénieurs en transport de proposer des améliorations aux intersections avant qu'il n'y survienne des accidents. Cela pourrait donc permettre de réduire le nombre d'accidents routiers et les nombreux coûts sociaux économiques qui y sont rattachés. Ce travail se concentre sur l'extraction des différents usagers de la route et leur suivi afin d'obtenir leur trajectoire. Il ne traite pas de l'analyse des interactions entre les différents usagers. Pour ce travail, trois objectifs ont été fixés. D'abord, il faut détecter les différents objets en mouvement de la séquence vidéo tout en filtrant les objets qui ne sont pas pertinents tels que les feuilles d'arbres ou encore les ombres d'oiseaux. Ensuite, le second objectif consiste à suivre les objets détectés de trame en trame afin d'obtenir la trajectoire empruntée par ceux-ci. Finalement, le dernier objectif est de valider la qualité des trajectoires extraites à l'aide de métriques standard et de comparer nos résultats avec ceux obtenus pour un autre algorithme. Pour la détection des objets, de nombreuses méthodes sont documentées dans la littérature. Il y a les méthodes basées sur la soustraction d'arrière-plan qui permettent de détecter les différents objets en mouvement à l'aide des changements d'intensité des pixels. Il faut ensuite relier les pixels sous forme de blobs. L'avantage de ce type de méthodes est qu'elles permettent de détecter tous les objets sans connaissance préalable de ceux-ci. Toutefois ces méthodes présentent une certaine sensibilité aux ombres et aux changements de luminosité, ce qui peut poser plusieurs problèmes de segmentation. Cette technique ne fonctionne qu'à partir d'une caméra statique. De plus, les blobs seuls ne nous permettent pas de gérer la présence de plusieurs objets très près l'un de l'autre puisque ceux-ci sont détectés comme faisant partie du même blob. Une autre méthode populaire est l'utilisation d'un détecteur. Celle-ci a l'avantage de permettre l'utilisation d'une caméra en mouvement et de gérer les occultations. Celle-ci est d'ailleurs très populaire dans les approches de suivi par détection, principalement pour le suivi de piétons se déplaçant en groupe. L'inconvénient est qu'il est difficile de faire des détecteurs pour des objets qui changent de forme en fonction de l'angle ou du modèle. Puisque nous voulions supporter l'ensemble des utilisateurs de la route, nous avons utilisé une soustraction d'arrière-plan. Afin de réduire les problèmes de celle-ci, nous avons utilisé des opérateurs morphologiques et des filtres. Pour le suivi d'objets, nous utilisons les blobs détectés précédemment. Dans un premier temps, nous tentons de mettre les blobs ensemble d'une trame à la suivante en utilisant un modèle de suivi. Pour ce modèle de suivi, plusieurs options s'offraient à nous comme l'histogramme de couleur des objets, les points caractéristiques, la forme, la position, le modèle de mouvement des objets, etc. Nous avons choisi un modèle basé principalement sur les points caractéristiques et la forme des objets. Les points caractéristiques ont été choisis puisqu'il s'agit d'un modèle très distinctif et qui n'impose aucune restriction sur le mouvement des objets. Afin de contrer les erreurs possibles, nous exigeons que les paires de points trouvés avec des techniques d'association de points caractéristiques répondent à certains critères spécifiques. Puisqu'il n'y a pas de points sur les bordures, nous utilisons également le recouvrement de blob comme mesure d'association. Pour le suivi d'objet, nous associons les blobs aux objets existants à l'aide du modèle de suivi de ceux-ci. Les divers problèmes du suivi sont gérés par une machine à état. Nous avons également développé une technique d'estimation de la position des objets dans des blobs sous-segmentés. Cette technique utilise les points caractéristiques et les observations a priori des objets pour estimer la position probable de l'objet courant. Afin d'évaluer nos résultats, nous avons utilisé 5 vidéos, dont 4 vidéos urbaines réelles. Nous avons utilisé des métriques standards pour le suivi multiobjet afin d'obtenir une évaluation quantifiable de nos performances. Les résultats obtenus ont été comparés à un autre algorithme de suivi urbain. Ils démontrent que notre méthode proposée présente de nombreux avantages par rapport à l'autre algorithme tant au niveau de la précision, de la justesse et de la complétude du suivi. Notre méthode est d'ailleurs capable de suivre les objets indépendamment de leur type ou de leur taille en nécessitant peu ou pas d'ajustement de paramètres.

Abstract

Our research focuses on the challenge of detecting and tracking multiple objects of various types in outdoor urban traffic scenes using a static video camera. The resulting system aims at collecting object trajectories for road safety analysis. Numerous crashes and dangerous situations could be avoided by changing intersection geometry and signalisation. The main problem is that there is very few available data related to crashes and none for dangerous situations. Road safety researchers must wait for casualties or accidents to happen in order to improve intersection safety. Using a video camera and manually watching thousands of hours of road users interaction is not really an option because of the high amount of resources required. The automatic extraction of user trajectories using a computer vision method combined with trajectory interaction analysis is a way to avoid this issue by enabling the analysis of a great amount of data at much lower cost. This would also allow the detection of dangerous interaction for which there are currently no data available. This information could help transport engineers solve critical issues in the road infrastructure before casualties happen. This could significantly reduce social-economic costs related to road casualties and accidents. This work is about the detection of road users and tracking them in order to extract their trajectories. The trajectory analysis will not be covered by this work. In this work, three main objectives were defined. First, we want to be able to detect the various road users while avoiding uninteresting objects such as bird shadows and leaves flowing in the wind. The second objective is to follow the detected objects in order to be able to extract their trajectories. Finally, the last objective is to use standard metrics in order to validate the quality of extracted trajectories and compare them with another algorithm. For object detection, numerous algorithms exist in the literature. Some methods are based on background subtraction which allows them to detect moving object using pixel intensity changes. The spatial connection of these pixels are then analysed in order to find blobs. The advantage of this method is that it does not require any prior knowledge of the objects. The drawbacks are that the camera must remain static, shadows deform blobs and lighting changes can cause fragmentation issues in the blobs. It does not allow the detection of the presence of multiple objects inside one blob either. Another popular method is based on object detectors. This method does not require a static camera, there are no fragmentation issue and they do not detect shadows as part of the object. The inconvenient is that these methods handle with difficulty multiple object size and they require the training of a detector for each object shape we want to detect. This works fine for the tracking of pedestrians inside a group, but the use of a detector to track cars is a different issue due to the numerous shapes of car available. Also, the shape of a car changes a lot depending on the angle of view, which means that multiple detectors are required for each car shape. In order to support all type of road users, we have decided to use background subtraction and morphological operators and filters in order to reduce the amount of fragmentation. For object tracking, we use the blobs detected previously. We first track the blob from frame to frame. After that, we try to associate the blobs to existing objects. In order to track the blobs, we use a tracking model. Numerous features can be used in a tracking model such as color histogram, feature points, shape, position, motion model etc. We have chosen to use a model based on feature points and object shape. The feature points are the main part of the tracking model since they offer a very distinctive description of objects and they do not constraint the motion of objects. In order to solve the errors occurring during point tracking, the feature points require a certain amount of distinctiveness compared to others points and we require multiple points match to associate to blob observation. Since there are no points on image borders, we also use object shape (using blob overlap) to associate objects together. To improve object localization in case of partial occlusion, we also propose a bounding box estimation method. The tracking results were evaluated using five videos. Four of those videos are real urban sequences. Those videos were annotated and we have then used standard metrics of multiple object tracking in order to quantify the performance of our algorithms. The results were compared to another state of the art urban tracking algorithm and our method is shown to have better results for precision and accuracy. This is mainly due to the capability of our algorithm to follow multiple objects of various type and size at the same time. Our results show balanced performance for the tracking of all road users.