Learning Activation Functions in Deep Neural Networks

Récemment, la prédiction de l'intention des utilisateurs basée sur les données comportementales est devenue plus attrayante dans les domaines de marketing numérique et publicité en ligne. La prédiction est souvent effectuée par analyse de l'information du comportement des visiteurs qui comprend des détails sur la façon dont chaque utilisateur a visité le site Web commercial. Dans ce travail, nous explorons les méthodes statistiques d'apprentissage automatique pour classifier les visiteurs d'un site Web de commerce électronique d'après des URL qu'ils ont parcourues. Plus précisément, on vise à étudier comment les réseaux de neurones profonds de pointe pourraient efficacement prédire le but des visiteurs dans une session de visite, en utilisant uniquement des séquences d'URL. Dans un réseau contenant des couches limitées, le choix de la fonction d'activation a un effet sur l'apprentissage de la représentation et les performances du réseau. Typiquement, les modèles de réseaux de neurones sont appris en utilisant des fonctions d'activation spécifiques comme la fonction sigmoïde symétrique standard ou relu linéaire. Dans ce mémoire, on vise à proposer une fonction sigmoïde asymétrique paramétrée dont la paramètre pourrait être contrôlé et ajusté dans chacun des neurons cachées avec d'autres paramètres de réseau profond en formation. De plus, nous visons à proposer une variante non-linéaire de la fonction relu pour les réseaux profonds. Comme le sigmoïde adaptatif, notre objectif est de régler les paramètres du relu adaptatif pour chaque unité individuellement, dans l'étape de formation. Des méthodes et des algorithmes pour développer ces fonctions d'activation adaptatives sont discutés. En outre, une petite variante de MLP (Multi Layer Perceptron) et un modèle CNN (Convolutional Neural Network) appliquant nos fonctions d'activation proposées sont utilisés pour prédire l'intention des utilisateurs selon les données d'URL. Quatre jeux de données différents ont été choisis, appelé les données simulées, les données MNIST, les données de revue de film, et les données d'URL pour démontrer l'effet de sélectionner différentes fonctions d'activation sur les modèles MLP et CNN proposés.

Abstract

Recently, user intention prediction based on behavioral data has become more attractive in digital marketing and online advertisement. The prediction is often performed by analyzing the logged information which includes details on how each user visited the commercial website. In this work, we explore the machine learning methods for classification of visitors to an e-commerce website based on URLs they visited. We aim at studying on how effectively the state-of-the-art deep neural networks could predict the purpose of visitors in a session using only URL sequences. Typical deep neural networks employ a fixed nonlinear activation function for each hidden neuron. In this thesis, two adaptive activation functions for individual hidden units are proposed such that the deep network learns these activation functions in training. Methods and algorithms for developing these adaptive activation functions are discussed. Furthermore, performance of the proposed activation functions in deep networks compared to state-of-the-art models are also evaluated on a real-world URL dataset and two well-known benchmarks, MNIST and Movie Review benchmarks as well.