Approximate Inference in Bayesian Neural Networks

Les réseaux de neurones profonds sont capables de résoudre de nombreux problèmes d'apprentissage automatique et aptes à atteindre des performances de pointe en raison de leur flexibilité, mais les modèles d'apprentissage profond sont difficiles à interpréter et souffrent d'un sur-ajustement statistique qui affecte leurs capacités de généralisation; en e˙et, ces derniers ont tendance à surestimer l'intervalle de confiance par rapport à leurs prédictions. Ceci peut être problématique pour les champs d'applications réels tels que les diagnostics médicaux ou les voitures autonomes. L'inférence bayésienne fournit des outils utiles pour s'attaquer à ces problèmes, mais cela a un coût, l'inférence bayésienne (exacte) pour les réseaux de neurones est dans la plupart des cas complexe dû à l'absence de forme analytique. L'apprentissage bayésien reste un bon choix pour concevoir des méthodes efficaces en fournissant une solution approximative. En effet, cette méthode combine inférence approximative et un cadre d'optimisation plus flexible. Cependant, l'efficacité des réseaux de neurones bayésiens est limitée à des distributions spécifiques et dans la majorité des cas la distribution a posteriori n'a pas de forme explicite. Dans ce mémoire, nous abordons ces problèmes en démystifiant la relation entre l'inférence approximative et les méthodes d'optimisation à l'aide de la méthode de Gauss-Newton généralisée. Les réseaux de neuronnes bayésiens affichent de bons résultats en combinant la méthode de Gauss-Newton généralisée avec l'approximation de Laplace et gaussienne. Les deux méthodes calculent une approximation gaussienne de la distribution a posteriori, mais on ne sait pas comment elles affectent le modèle probabiliste sous-jacent. Les deux méthodes se basent sur un traitement rigoureux du modèle probabiliste sous-jacent mais l'interprétation de leurs résultats est moins claire. Nous cherchons à être en mesure de distinguer lorsqu'un modèle particulier échoue et la capacité de quantifier son incertitude. Nous avons constaté que la méthode de Gauss-Newton généralisée simplifie le modèle probabiliste sous-jacent et fournit un degré d'incertitude. En particulier, l'approximation de Laplace et l'approximation gaussienne fournissent une distribution a posteriori plus flexible qui peut être appliquée lorsque l'échantillon de données est assez grand. Dans ce travail, nous présentons une méthode d'inférence qui relie les deux approches. En fait, l'approximation gaussienne est considérée comme un concurrent direct de l'approximation de Laplace, fournit une inférence dans l'espace de fonction tandis que Laplace manifeste une inférence dans l'espace de paramètres. La combinaison de l'une ou l'autre à la méthode de Gauss-Newton doit être considérée comme une linéarisation locale du réseau de neurones bayésien. Ainsi, on obtient un modèle linéaire généralisé (GLM). Ce cadre permet de résoudre les problèmes courants de sous-ajustement de l'approximation de Laplace. Plus intéressant même, nous sommes capables de faire la conversion d'un modèle GLM à un processus gaussien; ceci permet de faire le lien entre l'inférence dans l'espace de paramètres et l'inférence dans l'espace de fonctions dans le cadre de réseaux de neurones bayésiens.