Dénombrement et localisation automatisés de passagers aux arrêts d'autobus avec une caméra

La congestion des transports dans les villes est un enjeu majeur exacerbé par la surpopulation urbaine. Les solutions envisagées à ce problème nécessitent de connaître en temps réel le nombre de passagers attendant d’être pris en charge aux arrêts d’autobus, avec la plus grande exactitude possible. Étant donné sa haute fidélité et son faible coût, nous considérons une caméra comme capteur pour cette tâche. Dans la littérature, une très grande quantité de modèles ont été développés pour réaliser le dénombrement de personnes dans des images conventionnelles. Or, ces images sont limitées en champ de vue, ce qui nous pousse à considérer plutôt une caméra à objectif hypergone, qui produit des images ayant un champ de vue de 180◦ (images 360◦). Nous proposons alors une méthode pour déduire les paramètres inconnus de la objectif hypergone à partir d’une image, puis nous transformons les images 360◦ en images panoramiques. Ceci nous permet d’employer des détecteurs de personnes entraînés sur des images conventionnelles afin d’effectuer le dénombrement sur les images panoramiques, sans aucun entraînement additionnel. Puisque la grandeur des personnes sur les images panoramiques est variable et que cela peut diminuer l’exactitude du dénombrement, nous proposons un découpage en points de vue et un nouvel algorithme de recombinaison (RS) inspiré de Non Maximal Suppression (NMS) pour adresser ce problème. En validant le modèle sur des images 360◦ publiques représentatives des conditions aux arrêts d’autobus, nous obtenons une erreur relative de 6.49% à 7.42% sur le dénombrement. En vue d’une éven-tuelle intégration d’autres capteurs au dispositif à installer aux arrêts d’autobus, nous nous intéressons également à localiser en trois dimensions les personnes détectées dans les images 360◦. Nous proposons pour ce faire un modèle rapide en deux étapes se greffant à la suite du modèle de dénombrement. Il est d’abord entraîné à tracer des ellipses autour des personnes sur les images. Puis, en inversant un modèle de projection de sphéroïdes, nous obtenons des équations permettant de calculer la position et les dimensions réelles des personnes à partir de leur ellipse englobante. Puisqu’il n’existe pas d’ensembles de données de localisation 3D de personnes dans des images 360◦, nous estimons l’erreur commise par notre modèle avec des calculs de propagation d’erreur, et nous trouvons qu’il commet une erreur moyenne de 0.2 m à 0.3 m dans une zone de 10x10 m2 autour de la caméra.

Abstract

Traffic congestion problems are a major concern in modern cities due to urban overcrowding. Experts are proposing interesting solutions, but those solutions require knowing in real time precisely how many passengers are waiting at bus stops. Given its high fidelity and low cost, we choose to use a camera for this task. A large amount of work has been done in the literature to count people in conventional images. However, these images have a limited field of view (FOV), which encourages us to use a fisheye camera with a 180◦ FOV instead, to capture 360◦ images. We thus propose a method to deduce the unknown parameters of the fisheye lens from a single image, so we can subsequently transform the 360◦ images into panoramas. This then allows us to apply people detectors trained on conventional images to count people on the panoramic images, without any additional training. Since the variable size of people on panoramic images may negatively affect counting precision, we propose to adress this problem by splitting the panorama into viewpoints and by recombining the detections with our novel RS algorithm, inspired by Non Maximal Suppression (NMS). We evaluate our model on 360◦ images in the public domain that are representative of conditions at bus stops, and find a relative counting error of 6.49% to 7.42%. To account for the potential integration of other sensors to the device to be installed at bus stops, we deem it relevant to locate in three dimensions the people detected on the 360◦ images. We therefore propose for this task a fast two-step model to be attached at the end of the counting model. It is first trained to draw ellipses around the people on the images. Afterwards, it calculates the 3D position and dimensions of people from their bounding ellipse with equations obtained by inverting a spheroid projection model. Since there is no available dataset for 3D person localization in 360◦ images, we use error propagation to estimate the localization error of our model, and we find that it makes an average error in between 0.2 m to 0.3 m in a 10x10 m2 zone around the camera.