Segmentation mutuelle d'objets d'intérêt dans des séquences d'images stéréo multispectrales

The automated video surveillance systems currently deployed around the world are still quite far in terms of capabilities from the ones that have inspired countless science fiction works over the past few years. One of the reasons behind this lag in development is the lack of lowlevel tools that allow raw image data to be processed directly in the field. This preprocessing is used to reduce the amount of information transferred to centralized servers that have to interpret the captured visual content for further use. The identification of objects of interest in raw images based on motion is an example of a reprocessing step that might be required by a large system. However, in a surveillance context, the preprocessing method can seldom rely on an appearance or shape model to recognize these objects since their exact nature cannot be known exactly in advance. This complicates the elaboration of low-level image processing methods. In this thesis, we present different methods that detect and segment objects of interest from video sequences in a fully unsupervised fashion. We first explore monocular video segmentation approaches based on background subtraction. These approaches are based on the idea that the background of an observed scene can be modeled over time, and that any drastic variation in appearance that is not predicted by the model actually reveals the presence of an intruding object. The main challenge that must be met by background subtraction methods is that their model should be able to adapt to dynamic changes in scene conditions. The designed methods must also remain sensitive to the emergence of new objects of interest despite this increased robustness to predictable dynamic scene behaviors. We propose two methods that introduce different modeling techniques to improve background appearance description in an illumination-invariant way, and that analyze local background persistence to improve the detection of temporarily stationary objects. We also introduce new feedback mechanisms used to adjust the hyperparameters of our methods based on the observed dynamics of the scene and the quality of the generated output.

Résumé

Les systèmes de vidéosurveillance automatisés actuellement déployés dans le monde sont encore bien loin de ceux qui sont représentés depuis des années dans les oeuvres de sciencefiction. Une des raisons derrière ce retard de développement est le manque d'outils de bas niveau permettant de traiter les données brutes captées sur le terrain. Le pré-traitement de ces données sert à réduire la quantité d'information qui transige vers des serveurs centralisés, qui eux effectuent l'interprétation complète du contenu visuel capté. L'identification d'objets d'intérêt dans les images brutes à partir de leur mouvement est un exemple de pré-traitement qui peut être réalisé. Toutefois, dans un contexte de vidéosurveillance, une méthode de pré-traitement ne peut généralement pas se fier à un modèle d'apparence ou de forme qui caractérise ces objets, car leur nature exacte n'est pas connue d'avance. Cela complique donc l'élaboration des méthodes de traitement de bas niveau. Dans cette thèse, nous présentons différentes méthodes permettant de détecter et de segmenter des objets d'intérêt à partir de séquences vidéo de manière complètement automatisée. Nous explorons d'abord les approches de segmentation vidéo monoculaire par soustraction d'arrière-plan. Ces approches se basent sur l'idée que l'arrière-plan d'une scène peut être modélisé au fil du temps, et que toute variation importante d'apparence non prédite par le modèle dévoile en fait la présence d'un objet en intrusion. Le principal défi devant être relevé par ce type de méthode est que leur modèle d'arrière-plan doit pouvoir s'adapter aux changements dynamiques des conditions d'observation de la scène. La méthode conçue doit aussi pouvoir rester sensible à l'apparition de nouveaux objets d'intérêt, malgré cette robustesse accrue aux comportements dynamiques prévisibles. Nous proposons deux méthodes introduisant différentes techniques de modélisation qui permettent de mieux caractériser l'apparence de l'arrière-plan sans que le modèle soit affecté par les changements d'illumination, et qui analysent la persistance locale de l'arrière-plan afin de mieux détecter les objets d'intérêt temporairement immobilisés. Nous introduisons aussi de nouveaux mécanismes de rétroaction servant à ajuster les hyperparamètres de nos méthodes en fonction du dynamisme observé de la scène et de la qualité des résultats produits.