Stabilizing and Enhancing Learning for Deep Complex and Real Neural Networks

Dans cette thèse nous proposons un ensemble de contributions originales sous la forme de trois articles relatifs aux réseaux de neurones profonds réels et complexes. Nous abordons à la fois des problèmes théoriques et pratiques liés à leur apprentissage. Les trois articles traitent des méthodes conçues pour apporter des solutions aux problèmes de l'instabilité observée au cours de l'entrainement des réseaux, notamment le problème notoire de dilution et d'explosion des gradients ou «vanishing and exploding gradients » lors de l'entrainement des réseaux de neurones profonds. Nous proposons dans un premier temps la conception de modules d'entrainement appropriés, désignés par «building blocks», pour les réseaux de neurones profonds à valeurs complexes. Notre proposition comporte des méthodes d'initialisation et de normalisation ainsi que des fonctions d'activation des unités neuronales. Les modules conçus sont par la suite utilisés pour la spécification d'architectures profondes à valeurs complexes dédiées à accomplir diverses tâches. Ceci comprend des tâches de vision par ordinateur, de transcription musicale, de prédiction du spectre de la parole, d'extraction des signaux et de séparation des sources audio. Finalement nous procédons à une analyse détaillée de l'utilité de l'hypothèse contraignante d'orthogonalité généralement adoptée pour le paramétrage de la matrice de transition à travers les couches des réseaux de neurones réels récurrents.