Outils de visualisation de données de cartes à puce pour une société de transport collectif

De plus en plus de sociétés de transport en commun font le choix de systèmes automatisés de perception des titres de transport par carte à puce et réalisent que ces données recueillies au jour le jour, depuis déjà 2008 pour la grande région de Montréal, constituent un potentiel immense à exploiter pour la planification de leur offre de transport. Dans ce contexte, cette maîtrise recherche s'inscrit dans un projet global mené depuis trois ans en collaboration avec divers partenaires. Elle fait suite aux précédents travaux de recherche menés sur l'enrichissement des transactions des cartes à puce en leur associant les origines et les destinations des trajets. Pour les fins de ce projet, le Réseau de Transport de Longueuil (RTL) a mis à disposition les 3,1 millions de transactions de bus et de métro du mois de mars 2013. La société Thales a rendu disponible son portail « Analytics For Transportation » développé par le département CeNTAI (Centre de Traitement et d'Analyse de l'Information). L'objectif principal de cette maîtrise recherche est de concevoir des interfaces permettant de visualiser et d'analyser les transactions de cartes à puce, enrichies de leurs destinations, répondant ainsi aux besoins d'un exploitant de transport en commun. Les sous-objectifs, correspondant aux étapes de la recherche, sont les suivants : - Rendre opérationnel l'algorithme de détermination des destinations - Conceptualiser la structure des données la plus adéquate pour permettre leur visualisation - Créer des interfaces de visualisation répondant aux besoins d'un exploitant de transport en commun. Ce mémoire commence par une revue de littérature présentant d'une part les projets des années précédentes sur l'estimation de l'origine puis de la destination des déplacements et d'autre part d'autres projets liés à la visualisation de ce type de données. Les raisonnements employés pour répondre aux trois sous-objectifs précités sont exposés dans une section méthodologie. La dernière section présente les résultats et analyses obtenus à partir de ces données enrichies. Les contributions apportées par ce mémoire sont : - L'optimisation et la refonte de l'algorithme d'estimation des destinations et son adaptation à un réseau défini selon le format GTFS (General Transit Feed Specification)- La présentation d'aperçus rapides et ergonomiques obtenus grâce à l'utilisation d'outils libres (Elasticsearch et Kibana) analysant ces données enrichies de carte à puce - La conception d'une nouvelle interface web personnalisée et développée pour alimenter un tableau de bord présentant des indicateurs clés pour une société de transport en commun à partir des données transmises par le RTL. En conclusion, ce projet de recherche propose une solution opérationnelle qui, pour un jeu de données de transactions de cartes à puce, permet, en une étape, d'estimer la destination des trajets de chaque transaction des usagers, de préparer des statistiques supplémentaires (distance et temps de trajet, séquences de tronçons …) et de les exporter vers un fichier texte et vers une base de données (Elasticsearch). Le tout est réalisé en un temps relativement court : 20 minutes pour 3 millions de transactions, temps d'exportation compris. Les données sont alors directement disponibles et exploitables dans des portails web configurés ou développés pour l'occasion prenant en compte les besoins des clients. Parmi les 3,1 millions de transactions disponibles, 20% sont des transactions de métro. Ces dernières permettent d'aider l'algorithme dans l'estimation des destinations. Lorsqu'elles sont prises en compte, elles n'améliorent que de 1% le nombre total de destinations des trajets de bus portant à 79% le nombre de trajets OD en bus recomposés pour notre jeu de données de mars 2013. Les séquences de tronçons ou déplacements ont été recomposées au cours de l'algorithme. Il en ressort par exemple que 66% des déplacements de bus, ou séquences de tronçons, effectués par les usagers sont des trajets directs sans correspondance. La part d'usagers effectuant des déplacements d'une seule correspondance est respectivement 12% du bus vers le bus et 20% du bus vers le métro. En définitive, ce projet de recherche permet de montrer que l'analyse de gros volumes de données en un temps limité est possible et une solution opérationnelle est présentée. En effet, il faudrait un temps de traitement de seulement 32 heures pour enrichir les transactions des 8 dernières années du RTL, à raison de 3 millions de données par mois. Ces données de type OD seraient alors disponibles pour alimenter les analyses des différents départements d'une société de transport en commun tels que la gestion des opérations du réseau, la planification et même le marketing et la finance. Les outils de visualisation développés permettraient alors d'aider le RTL dans la rédaction d'un cahier des charges auprès d'une entreprise offrant des solutions BI (Business Intelligence) pour visualiser leurs données métier.

Abstract

Public transit authorities are choosing more and more smart card automated fare collection systems and realize that those daily recovered data, since 2008 for the greater Montreal region, have a great potential for their planning and operations. In this context, this research master is part of a global project held for three-year period in collaboration with various partners. It follows previous research works on data enrichment of smart card transactions by combining their trip origin and destination. For the purpose of this project, the transit authority RTL (Réseau de Transport de Longueuil) provided one month (March 2013) of bus and metro smart card transactions (3.1 million). As far as Thales is concerned, they made available their “Analytics For Transportation” portal developed by its CeNTAI Department (Centre de Traitement et d'Analyse de l'Information). The main objective of this master research is to design interfaces for viewing and analyzing smart card transactions, enriched of their destination, while meeting the needs of a transit operator. The sub-objectives, corresponding to the steps of this research, are: - Make operational the algorithm determining trip destinations - Conceptualize the most adequate data structure enabling their visualization - Design visualization interfaces meeting the needs of a transit operator This thesis starts with a literature review with, on the one hand, the previous works on the estimation of the trips origin and destination, and, on the other hand, other projects on data visualization. The steps followed to meet the above three sub-objectives are described in the methodology section. The final section presents the results and analysis obtained from these enriched data. The main achievements of this project are: - The optimization and redesign of the algorithm estimating trip destinations and its adaptation to a network defined with the GTFS format (General Transit Feed Specification) - The presentation of ergonomic insights, obtained thanks to the use open source tools (Elasticsearch, Kibana), enabling those enriched smart card data to be quickly analyzed The design of a new customized web interface developed to present other key indicators used by a public transport company. In conclusion, this research project presents an operational solution, which for a set of smart card transaction data offers, in one step, to estimate the destination of each smart card transaction trip, to prepare additional statistics (distance and travel time, trip-leg sequences …) and to export those enriched transactions to a text file or a data base (Elasticsearch). The whole process is made within a relatively short time: 20 minutes for 3 million transactions, export time included. The data is then directly available and usable in web portals configured or developed for the occasion and which take into account the needs of the customers. Of the 3.1 million available transactions, 20% are metro transactions. These transactions help the algorithm in the estimation of a trip destination. These metro transactions only help to find 1 more percent of destinations, resulting in 79% of trip destinations recovered for our March 2013 dataset. Trip-legs have also been reconstructed by the algorithm. It shows for example that 66% of bus travels are made without a transfer. The share of users making only one transfer represents respectively 12% from bus to bus and represents 20% from bus to metro. In the end, this research shows that the analysis of large volume of data within a limited period of time is possible and an operational solution is presented. Indeed, it would require a processing time of 32 hours to enhance the RTL smart card transactions of the last 8 years, with 3 million transactions per month. These OD type of data would then be available to power the analysis of the various departments of a public transit authority such as operations, planning and even marketing and finance. The developed visualization prototypes would then help the RTL in drafting the specifications of a new tool sold and designed by a company selling BI (Business Intelligence) solutions to visualize their business data.