Stratégie de parallélisation hybride MPI/OPENMP pour EF, un programme d'analyse par éléments spectraux spécialisé pour la mécanique des fluides

Le programme d'analyse par éléments spectraux, EF, est développé au sein de Polytechnique Montréal afin de résoudre des problèmes de dynamique des fluides et de transfert de chaleur. Bénéficiant actuellement d'une parallélisation multi-threads avec l'interface OpenMP, il est optimisé pour le calcul sur des architectures à mémoire partagée uniquement. Typiquement, ces derniers sont munis de processeurs ayant tout au plus quelques dizaines de coeurs. Ce facteur devient limitant pour la réalisation de simulations d'envergure, notamment pour des domaines tridimensionnels. Ce mémoire présente une stratégie de parallélisation hybride MPI/OMP adaptée aux structures de données d'EF, afin de porter le programme sur des environnements à mémoire distribuée disposant de ressources significativement plus grandes. La méthode implémentée utilise également un troisième niveau de parallélisme avec l'ajout d'instructions SIMD. Typiquement, ce dernier permet d'accélérer la phase d'assemblage par un facteur entre 2 et 4. La résolution du système linéaire repose sur l'usage de solveurs directs distribués afin de conserver la robustesse du programme. Les solveurs CPardiso et Mumps sont alors incorporés au programme et leurs performances ont été évaluées sur un problème de diffusion thermique simple. Pour les deux solveurs, les besoins en mémoire sont redistribués équitablement et permettent donc de traîter des problèmes dont la taille excède la capacité maximale d'un seul noeud de calcul. En terme de temps d'exécution, CPardiso offre une certaine accélération pour la phase d'analyse et de factorisation mais aucun gain n'est observé lors de la résolution. Pour Mumps, des mesures préliminaires suggèrent des accélérations plus significatives, même pour la phase de résolution. Toutefois, plus de tests devront être effectués avant de se prononcer définitivement sur ce solveur.

Abstract

EF is a spectral elements analysis software developped by Polytechnique Montréal to solve problems mainly related to fluid dynamics and thermal diffusion. Currently parallelized with OpenMP interface, the software is optimized for shared memory architectures with typically a few dozen cores. This limits the performance for analysis of large scale simulations, particularly for three dimensional domains. This work develops a MPI/OMP hybrid parallelization strategy customized for EF's data structures in order to run the program on significantly larger resources with distributed memory architectures. OpenMP SIMD constructs are also used in the matrix assembling phase as a third level of parallelization. Typical result shows a speed-up factor between 2 and 4. This strategy uses distributed solvers based on direct methods to maintain the software's reliability. Cluster Pardiso and Mumps solvers are integrated and their performances evaluated using simple thermal diffusion problem. For both solvers, results show that memory is equitably distributed within each process. Therefore, they are useful for the treatment of large scale problems. Concerning execution time of CPardiso, the analysis phase as well as factorization benefit from hybrid parallelization but no gain is obtained with this method in the solving phase. With Mumps, preliminary results suggest more important speed-ups. However, it has not been tested on large scale problems yet.