A Data-driven Approach to Revenue Management Problem with Behavioral Considerations

RÉSUMÉ: Cette thèse porte sur l'étude de diverses méthodes avancées et orientées données pour résoudre la problématique de gestion de revenu plus souvent désigné par “Revenue Management” (RM). Nous nous intéressons à deux sous-problèmes du RM que sont la prévision de demande et le contrôle d'inventaire, poursuivons avec une revue de la littérature suivi d'une synthèse des contributions de la thèse. Nous commençons par une introduction générale sur la métodologie usuelle pour traiter la prédiction de la demande et les politiques optimales de contrôle d'inventaire. Nous présentons dans les trois chapitres suivants, nos travaux sur ces problématiques, chacun correspondant à un article soumis dans une revue internationale. Finalement nous concluons par des remarques sur le travail actuel et une discussion sur les possibles futurs travaux. Nous présentons maintenant brièvement les trois articles. Dans le premier article, nous nous intéressons à la prévision de la demande pour une importante compagnie ferroviaire. Pour cela, nous explorons diverses approches de prétraitement, apprentissage machine et sélection de caractéristiques des données. Comme cette prévision est utilisée pour différents objectifs, nous travaillons sur deux niveaux d'agrégation différents. La solution devant être industrialisable, nous mettons l'emphase sur la rapidité, la simplicité et la robustesse. Nous combinons alors des méthodes de l'état de l'art avec des techniques innovantes de construction des caractéristiques des données pour arriver à des résultats prometteurs. Bien que nous traitons la prévision de demande pour le domaine ferroviaire, nos résultats s'appliquent également aux autres domaines de transport et à l'hôtellerie. Dans le second article, nous considérons le problème du contrôle d'inventaire du RM sous comportement d'achat pour le domaine aérien avec une méthode d'apprentissage par renforcement du type “Deep Q-Network” (DQN). Par rapport aux approches traditionnelles en RM, DQN ne dépend pas d'une prévision de la demande pour retourner de bonnes décisions de contrôle. Il fonctionne en utilisant des données historiques et/ou une interaction directe avec les clients. Nous nous concentrons essentiellement sur l'aspect comportemental de notre modèle. Nous entraînons et évaluons notre solution avec des données synthétiques puis la comparons avec des méthodes tradionelles de RM sur des instances aériennes fournies par la littérature. Dans le troisième article, nous abordons des instances de taille plus importante pour des problèmes de RM que l'on retrouve en pratique. Nous proposons un algorithme “Action Generation” (AGen) à intégrer au DQN pour étendre son utilisation à des problèmes de plus grande taille de RM sans trop augmenter le coût de calcul. La motivation derrière cette approche vient d'une analyse des offres optimales à travers l'horizon de réservation qui montre qu'elles sont souvent les mêmes, nous les appelons alors “offres efficaces”. À partir de cette information nous pouvons considérablement réduire le temps de calcul dans les cas pratiques. AGen est un algorithme heuristique de type glouton qui mimique la génération de colonnes dans le but de générer ces “offres efficaces”. La combinaison de DQN et AGen donne des résultats prometteurs sur les problèmes de plus grandes tailles.

Abstract

ABSTRATC: This dissertation presents a systematic study of various data-driven advanced methodologies employed to solve a Revenue Management (RM) problem. We address two main modules within an RM system; namely, demand forecasting and inventory control. We start with a general introduction into the thesis and then proceed to overall methodology used to both predict customer demand and analyze the capacity control policies. The methodologies are explained in detail in the three following chapters each of which corresponds to an article already submitted to an international journal. Finally, we conclude with final remarks and discussions of implications for further work. Following is a brief explanation of each article. In the first article, we study a demand forecasting problem to be addressed for a major railway company. To do so, we explore various preprocessing, machine learning and feature engineering techniques. Moreover, the demand is estimated in two different aggregation levels of data in order to serve different purposes. To comply with the industry-specific requirements, the emphasis of our solution method is on speed, simplicity, and robustness. In this study, the use of state-of-the-art machine learning methods along with innovative feature construction techniques led to high quality results. Although railway industry is the representative of our problem, the studied demand forecasting approaches can easily be extended to other transportation industries or hospitality businesses. In the second article, we address a choice-based seat inventory control problem in airline industry using a deep reinforcement learning method named Deep Q-Network (DQN). In contrast to traditional RM techniques, DQN does not rely on predicted demand to make informed capacity control decisions. It operates using historical data and/or real-time interaction with customers. In this study, we mainly focus on the choice-based characteristic of our model. We train and evaluate our solution method with synthetic data and compare the final performance to those of well-known RM methods using common flight examples provided in the literature. In the third article, we tackle large-scale practical RM problems. We propose an “Action Generation” (AGen) algorithm to be integrated into DQN and extend its application to larger RM problems without incurring enormous computational costs. The analysis of the optimal offersets offered to customers throughout the booking horizon shows that only particular offersets (i.e., actions), which we call them “effective sets”, are repeatedly used. Thus, if we manage to develop a method to generate such actions, we will be able to substantially reduce the processing time in practical cases. AGen is a greedy heuristic algorithm that mimics the column generation algorithm [1] with the aim of generating “effective sets”. The AGen embedded DQN yields promising results in large-size network problems.