Accurate Approximations of the Wave Equation: From Spectral Element Methods to Deep Learning Approaches

La solution de l’équation des ondes a suscité un grand intérêt chez les physiciens et les ingénieurs en raison de sa grande applicabilité. La méthode des éléments spectraux, une méthode bien établie, est largement utilisée pour la solution de l’équation des ondes en raison de sa capacité à combiner la haute précision des méthodes spectrales et la flexibilité géométrique de la méthode des éléments finis. Récemment, des percées importantes dans l’apprentissage profond appliqué à la résolution des équations aux dérivées partielles ouvrent des portes à de nouvelles possibilités. Cela a été inspiré par le succès de l’apprentissage profond dans des domaines comme le traitement du langage naturel et la vision par ordinateur, ainsi que par les capacités d’approximation universelle des réseaux neuronaux pour les fonctions et les opérateurs. Cette recherche fournit une compréhension théorique approfondie de l’erreur produite dans l’approximation de la solution des équations d’onde utilisant la méthode des éléments spectraux et introduit des méthodologies innovantes pour approximer avec précision l’opérateur d’onde en utilisant l’apprentissage profond, offrant potentiellement des approches améliorées par rapport aux méthodes traditionnelles. D’abord, nous présentons une analyse d’erreur a priori pour la solution de l’équation des ondes en milieu homogène bidimensionnel en utilisant la méthode des éléments spectraux avec la quadrature de Gauss-Lobatto-Legendre. Cette analyse présente des bornes d’erreur dans la norme H1 par rapport à la taille de l’élément h et au degré polynomial p. Ces bornes théoriques sont numériquement vérifiées comme étant optimales avec des solutions régulières et non régulières. Les hypothèses spécifiques sur la discrétisation par la méthode des éléments spectraux sont l’utilisation d’une triangulation par quadrilatères construite via des transformations affines à partir d’un élément carré de référence et d’une discrétisation du second ordre dans le temps par le schéma leap-frog. De plus, nous avons introduit les Green operator networks, pour obtenir une approximation de l’opérateur d’onde en approximant sa fonction de Green par l’apprentissage profond. En utilisant cette approche, on entraîne le réseau une seule fois pour une famille de paramètres et l’on peut ensuite évaluer la solution de l’équation d’onde pour un paramètre donné. Une telle approche devient particulièrement avantageuse comparée aux méthodes traditionnelles lorsque l’équation des ondes doit être résolue à plusieurs reprises, comme dans la quantification des incertitudes ou les problèmes d’optimisation. En outre, nous comparons numériquement la performance des Green operator networks à celles des Deep operator networks, lesquels fournissent une approche générale de l’apprentissage profond pour approximer les opérateurs non linéaires. Ces avantages sont démontrés au travers d’une série d’expériences numériques appliquées à l’équation des ondes dans des domaines homogènes et hétérogènes, en une et deux dimensions. Les méthodes traditionnelles de l’apprentissage profond ont souvent des difficultés à atteindre des approximations de haute précision, même dans le cas de problèmes simples. Ce défi résulte de la limitation de l’apprentissage profond à gérer de manière efficace les solutions présentant plusieurs échelles. Nous avons alors développé une nouvelle méthode, dite des réseaux neuronaux multi-niveaux (multi-level neural networks). Dans cette approche, il est possible de contrôler et de réduire les erreurs en utilisant une séquence de réseaux. Chaque nouveau réseau est introduit afin d’estimer l’erreur à une échelle différente et ainsi, après plusieurs itérations, d’obtenir des solutions de l’ordre de la précision machine. La méthode est tout d’abord illustrée sur les physics-informed neural networks pour des problèmes de valeurs aux limites linéaires et non linéaires. Elle est ensuite appliquée au problème de propagation d’ondes. Une extension de la méthode est finalement proposée pour l’approximation de l’opérateur de Poisson en utilisant les Green operator networks, comme démonstration de faisabilité pour le cas de l’équation des ondes.

Abstract

The solution of the wave equation has been of great interest to physicists and engineers due to its broad applicability. The spectral element method, a well-established method, is widely used for the solution of the wave equation due to its ability to combine the high accuracy of spectral methods and the geometrical flexibility of the finite element method. Recently, groundbreaking efforts in deep learning for solving partial differential equations are gaining momentum. This was inspired by the success of deep learning in fields like natural language processing and computer vision, along with the neural networks’ universal approximation capabilities for functions and operators. This research provides an in-depth theoretical understanding of the error produced by the wave solution using the spectral element method and introduces innovative methodologies to accurately approximate the wave operator using deep learning, potentially offering enhanced approaches beyond traditional methods. First, we present an a priori error analysis for the solution of the two-dimensional homogeneous wave equation using the Gauss-Lobatto-Legendre spectral element method. The analysis provides error bounds in the H1 norm with respect to the element size h and the polynomial degree p. These theoretical bounds are numerically verified to be optimal with regular and non-regular solutions. Specific assumptions on the discretization by the spectral element method are the use of a triangulation by quadrilaterals constructed via affine transformations from a reference square element and of a second-order discretization in time by the leap-frog scheme. Additionally, we have introduced the Green operator networks to obtain approximations of the wave operator by approximating its Green’s function using deep learning. Using this approach, one trains the network only once for a family of parameters and later approximate a wave solution for a given parameter with a single forward pass. Such an approach is particularly advantageous over traditional methods when the wave equation must be solved repeatedly, as in uncertainty quantification or inverse parameter design. Furthermore, we numerically illustrate the advantages of the Green operator networks over deep operator networks, the latter being a general deep learning approach for approximating nonlinear operators. The advantages are illustrated with a series of numerical experiments for the homogeneous and heterogeneous wave equation in one and two dimensions. Traditional deep learning methods often face challenges in achieving high-accuracy approximations, even for the most basic scenarios. This challenge stems from the limitation of deep learning to effectively handle solutions across multiple scales. To overcome these challenges, we have developed the so-called multi-level neural networks. In this approach, we are able to control and reduce the errors using a sequence of networks. Each network is introduced to estimate the error on a different scale and thus, following several iterations, to obtain solutions within machine precision. The performance of the method is first illustrated on physics-informed neural networks for a series of linear and nonlinear boundary-value problems. The method is then applied to the wave propagation problem. Finally, an extension of the multi-level approach is proposed to approximate the Poisson operator using Green operator networks, which set the foundation to further expand it to the wave equation.