The Finite Element Neural Network Method: Solving Petrov-Galerkin Finite Element Formulation with Neural Networks Leveraging Non-Vanishing Test Functions

Le développement des réseaux de neurones artificiels (RNA) a significativement progressé lors des deux dernières décennies, devenant la méthode prédominante pour améliorer et dévelop-per des applications dans différents domaines, notamment la finance, les soins de santé, le traitement d’images et le traitement du langage naturel (TLN). En raison de leur succès, les RNA ont perçu une attention grandissante de la communauté informatique scientifique, où ils sont utilisés pour approximer la solution d’équations différentielles partielles (EDP). Cepen-dant, les RNA purement pilotés par les données manquent de connaissance des lois physiques et échouent dans les régimes aux petites données. De leur côté, les méthodes numériques clas-siques, telles que la méthode des éléments finis (MEF), reposent sur de solides fondements théoriques qui en font la norme en matière de précision et de fiabilité, étayée par des décen-nies d’amélioration et d’optimisation. Néanmoins, elles sont confrontées à de multiples défis lorsqu’elles sont appliquées à des problèmes mal posés, de la non-linéarité et des mises à jour de systèmes en temps réel. Dans ce projet, nous abordons les limites des deux méthodes en les fusionnant en la méthode des éléments finis à réseaux de neurones (FENNM), en utilisant des opérations de convolution pour résoudre des problèmes directs et inverses. L’approche résultante exploite les avantages de la théorie établie des éléments finis, en tirant parti de la flexibilité et des capacités des réseaux de neurones (RN) en tant qu’approximateurs de la fonction d’essai. Nous établissons d’abord la formulation FENNM analogue à la MEF pour les domaines uni-dimensionnels. Ensuite, nous explicitons les composantes de la fonction de perte des résidus et la construction des filtres de convolution, en caractérisant la relation entre les opérateurs différentiels, les fonctions test et la règle de quadrature de Gauss. En appliquant le raffine-ment hp, nous mettons en évidence que FENNM devient indépendant du maillage et son application à différentes études de cas numériques confirme sa robustesse. De plus, nous dé-montrons qu’en utilisant la forme ultra-faible de l’EDP, FENNM élimine la compétition entre les termes de perte en imposant toutes les conditions limites dans une seule fonction de perte, et nous montrons que nous pouvons exploiter les propriétés des RN pour résoudre la formu-lation MEF en temps. Enfin, nous illustrons que, similairement aux méthodes numériques classiques, nous pouvons utiliser les résidus de la forme forte de l’EDP comme indicateur pour guider FENNM avec le raffinement local de la grille. Après la formulation initiale, nous étendons l’approche FENNM à des domaines bidimen-sionnels, où la seconde dimension peut être l’espace, le temps ou un paramètre, en tirant parti de la flexibilité des RN en tant qu’approximateurs de fonctions. Ensuite, nous illus-trons la robustesse de la méthode sur plusieurs études de cas, y compris des solutions avec des discontinuités nettes, des problèmes vectoriels, des solutions directes et inverses pour des problèmes de transfert de chaleur radiatif avec des charges externes, ou comportant des géométries complexes. Enfin, nous démontrons la constance du comportement de FENNM par rapport au résidu de forme forte des EDP, ce qui permet de l’utiliser comme estimateur d’erreur pour piloter le raffinement local de la grille et améliorer la précision de la prédiction de FENNM.

Abstract

The development of artificial neural networks (ANNs) has progressed significantly over the past two decades, becoming the method of choice for improving and developing applications in different fields, including finance, healthcare, image processing, and natural language pro-cessing (NLP). Due to their success, ANNs received growing attention from the scientific computing community, where they are used to approximate the solution of partial differen-tial equations (PDEs). However, purely data-driven ANNs lack knowledge of the physical laws and fail in small data regimes. Meanwhile, classical numerical methods such as the finite element method (FEM) have strong theoretical foundation making them the standard for ac-curacy and reliability, backed by decades of improvements and optimization. Nonetheless, they face several challenges when dealing with ill-posed problems, nonlinearity, and real-time systems updates. In this project, we address the limitations of both methods by merging them in the finite element neural network method (FENNM) using convolution operations to solve forward and inverse problems. The resulting unified framework harnesses the strengths of the well-established FEM theory while leveraging the flexibility and data-driven capabilities of neural networks (NNs) as trial function approximators. We first derive the FENNM formulation analogous to FEM for one-dimensional domains. Then, we explain the residual loss function components and the construction of the con-volution filters, while providing insights on the relation between the differential operators, test functions, and the Gauss quadrature rule. By applying hp-refinement, we establish that FENNM becomes mesh-independent, and we show its robustness through several numeri-cal case studies. Moreover, we demonstrate that by using the ultra-weak form of the PDE, FENNM eliminates the competition between loss terms by imposing all boundary conditions within one loss function, and we show that we can leverage the NN properties to solve the FEM formulation in time. Finally, we illustrate that, similar to classical numerical methods, the PDE strong-form residuals can be used as a proxy to guide FENNM through local grid refinement. Following the initial formulation, we extend the FENNM framework to two-dimensional do-mains, where the second domain can be space, time, or a parameter, leveraging the flexibility of NNs as function approximators. Then, we validate the robustness of the method over several case studies, including solutions with sharp discontinuities, vector-valued problems, forward and inverse solutions for radiative heat transfer problems with external loads, and heat transfer problems featuring complex geometries. Finally, we demonstrate that we can use the strong-form residual of the PDEs in FENNM as an error estimator to guide local grid refinement and improve accuracy.