Recalage automatique de séquences vidéo infrarouge et visible basé sur les trajectoires des objets en mouvement

This project is about a new registration method between a color video and an infrared video. Registration is to find the transformation matrix from which you can pass from one set of coordinates to another, for example, between two cameras. In this project, this transformation matrix is an affine transformation matrix. This registration is done frame by frame. It uses two kinds of information: the trajectories of moving objects and an overlapped picture made from combinations of foreground pictures. Multiple multispectral registration methods were found in the literature but not all of these methods can be used for the specific case of an infrared-color registration. Even so, a specific method (Caspi et al., 2006) seems promising to achieve this kind of registration. This method uses only trajectories of moving objects to find the transformation matrix. This article is the principal inspiration of this work.

Résumé

Le projet présenté dans ce document porte sur une nouvelle méthode pour effectuer le recalage entre deux séquences vidéo de spectres différents soit l'une du spectre visible et l'autre du spectre infrarouge. Un recalage consiste à retrouver la matrice de transformation qui permet de passer d'un référentiel à un autre. Dans ce projet en particulier, il s'agit de trouver la matrice de transformation affine qui permet de passer du référentiel de la caméra infrarouge à celui de la caméra couleur. Ce recalage est effectué pour chaque trame. Pour y arriver, la méthode proposée se base sur les trajectoires des objets en mouvement ainsi que sur des combinaisons d'images d'avantplan en recouvrement. Plusieurs méthodes de recalage multispectral ont été proposées dans la littérature. Cependant, il n'est pas toujours possible d'appliquer ces techniques dans le cas spécifique d'un recalage entre des images couleur et infrarouge. Il existe cependant une méthode qui semble avoir un bon potentiel. Il s'agit de la méthode de Caspi, Simakov, & Irani (2006). Cette méthode utilise uniquement les trajectoires des objets en mouvement pour retrouver la matrice de transformation entre les deux caméras. Cet article fut la principale source d'inspiration de ce mémoire.