Échantillonnage sémantique et classification des couleurs pour la recherche de personnes dans les vidéos

In this work, we look into the application of person search, in the context of images taken from security cameras. In this type of application, we aim to describe the persons present in videos, according to their characteristics, such as the color of their clothes. The application of person search can be likened to using composite portraits, where persons are described by their semantic parts (such as t-shirt, hat, pants..), and one is looking for persons with specific characteristics. In our case, these characteristics can then be attached to images as metadata, facilitating the search for specific profiles in videos, for example, a person with green pants and a blue shirt. In a first part, we identify the clothes being worn as salient characteristics, and in particular we decide to look into describing very precisely their colors. The goal of our work is thus to propose a color classification method for images, that aims to be as close as possible to human perception.

Résumé

Dans le cadre de ce travail, nous nous intéressons à l'application de la recherche de personnes par une description par mots-clefs, dans des images issues de vidéos de sécurité. Avec ce type d'application, nous cherchons à décrire les personnes présentes dans des vidéos, selon des caractéristiques saillantes (e.g. couleurs des vêtements), sans nous intéresser à leurs identités qui sont inconnues a priori. Il s'agit ainsi d'une approche similaire à la génération de "portraits robots", qui peuvent alors être attachés aux images comme méta-données, facilitant ainsi la recherche de profils particuliers dans des vidéos (e.g. on cherche une personne avec un pantalon vert et un gilet bleu). Dans un premier temps, nous identifions comme caractéristiques saillantes les vêtements, et en particulier nous cherchons à décrire précisément leurs couleurs. L'objectif de notre travail est ainsi le développement d'une méthode de classification des couleurs des vêtements dans les images qui se veut le plus proche possible de la perception humaine. Pour cela, nous nous intéressons à la fois au vocabulaire utilisé, qui se doit d'être suffisamment généraliste, et aux espaces de couleurs considérés, qui doivent pouvoir émuler les propriétés de la perception des couleurs humaine.