Analytical Bayesian Parameter Inference for Probabilistic Models with Engineering Applications

«RÉSUMÉ: Les problèmes d’ingénierie reposent sur des modèles pour prédire les phénomènes physiques et il est essentiel, à des fins de prise de décision, que ces modèles soient probabilistes, afin que nous soyons conscients de ce que nous ne savons pas à leur sujet. Les approches probabilistes courantes incluent les modèles d’espace d’états utilisés pour prévoir les séries chronologiques, et les réseaux de neurones Bayésiens utilisés pour effectuer des tâches de régression. De tels modèles impliquent des paramètres inconnus non seulement pour modéliser des phénomènes physiques mais aussi pour quantifier les incertitudes épistémiques et aléatoires du modèle. En pratique, l’estimation de ces paramètres peut être exigeante en termes de calcul, ce qui empêche les modèles existants d’être mis à l’échelle pour être utilisés dans des applications d’ingénierie pratiques à grande échelle. Par exemple, dans les modèles d’espace d’états, l’estimation des variables d’état cachées est peu coûteuse en termes de calcul car nous pouvons nous appuyer sur une formulation analytique pour effectuer l’inférence Bayésienne. D’autre part, l’incertitude aléatoire est quantifiée par les paramètres de variance dans les matrices de covariance des erreurs de processus (Q) et d’observation (R), qui doivent être connues avec précision pour une estimation exacte des variables cachés. L’obtention d’estimations optimales pour ces paramètres inconnus est généralement la tâche la plus exigeante en termes de calcul dans la procédure d’estimation d’états cachés. Même si la matrice R peut être, dans de nombreuses situations, considérée comme connue à partir des spécifications de l’instrument de mesure, il reste toujours un défi de développer une méthode de calcul efficace capable d’effectuer une estimation en ligne de forme fermée de la matrice Q pour plusieurs séries chronologiques. De plus, l’inférence en ligne traitable analytiquement ne peut pas être effectuée pour les modèles d’espace d’états multiplicatifs qui permettraient de déduire les paramètres du modèle en tant qu’états cachés à l’aide d’expressions algébriques de forme fermée. D’autre part, l’inférence de paramètres analytiques peut être effectuée dans des réseaux de neurones Bayésiens en utilisant la méthode tractable approximate Gaussienne Inference (TAGI), mais est uniquement limitée à la modélisation de l’incertitude aléatoire homoscédastique.»

Abstract

«ABSTRACT:Engineering problems rely on models to predict physical phenomena and it is critical for decision-making purposes that these models be probabilistic, so that we are aware about what we do not know about them. Common probabilistic approaches include state-space models that are used for forecasting time series and Bayesian neural networks that are used for performing regression tasks. Such models involve unknown parameters for not only modeling physical phenomena but also for quantifying the model’s epistemic and aleatory ncertainties. In practice, estimating these parameters can be computationally demanding, so that it prevents existing models from being scaled up to be used in large-scale practical engineering applications. For instance, in state-space models, estimating hidden state variables is computationally cheap because we can rely on an analytical formulation for performing Bayesian inference. On the other hand, the aleatory uncertainty is quantified by the variance parameters in the process (Q) and observation (R) error covariance matrices, which need to be known accurately for an exact state estimation. Obtaining optimal estimates for these unknown parameters is typically the most computationally demanding task in the state estimation procedure. Even though in many situations the matrix R can be considered to be known from the measuring instrument specifications, it still remains a challenge to develop a computationally efficient online method which is able to perform the closed-form Bayesian estimation of the matrix Q for multiple time series. Moreover, analytically tractable online inference cannot be carried out for multiplicative state-space models which would allow model parameters to be inferred as hidden states using closed-form algebraic expressions. On the other hand, analytical parameter inference can be carried out in Bayesian neural networks using the tractable approximate Gaussian inference (TAGI) but is restricted to modeling only homoscedastic aleatory uncertainty.