Synthèse d'images tomodensitométriques à partir d'IRM par des réseaux adverses génératifs pour le recalage 3D/2D de la colonne vertébrale

L'information structurelle tridimensionnelle apporte une aide précieuse aux procédures or-thopédiques qui, le plus souvent, n'ont à portée de main que des modalités d'imagerie bi-dimensionnelles pour se guider. Non seulement cela aide-t-il à améliorer la précision des manoeuvres, mais cela permet aussi, dans plusieurs cas, de rendre les procédures moins in-vasives. La modalité d'imagerie bidimensionnelle sur laquelle se concentre ce mémoire est la fluoroscopie de bras en C. Celle-ci est très répandue dans les salles opératoires et permet une acquisition rapide et versatile pour guider les procédure orthopédiques. Cette modalité est le plus souvent fusionnée avec la tomodensitométrie par un recalage 2D/3D. Ces deux modalités reposent sur le principe d'absorption de rayons X, ce qui fait que l'on retrouve des similarités dans la géométrie et dans les intensités d'une modalité à l'autre. Cela simplifie le problème. Toutefois, la tomodensitométrie n'o˙re pas les meilleurs contrastes pour visualiser les organes, les nerfs et les tissus mous ; d'autant plus qu'elle cause une irradiation non né-gligeable au patient. En revanche, l'IRM se prête mieux à la visualisation des organes et des tissus mous. Elle a aussi l'avantage de ne pas irradier le patient. Le contraste de celle-ci est très di˙érent de la tomodensitométrie, surtout au niveau de la colonne vertébrale ; ce qui rend le problème de recalage 2D/3D avec la fluoroscopie de bras en C plus diÿcile. Les dernières avancées en apprentissage profond montrent des résultats très prometteurs pour la tache de translation d'image. Ceci est applicable à la génération de tomodensitométrie synthétique à partir d'IRM pour un recalage 2D/3D subséquent. Nous proposons une méthode de recalage 2D/3D par Digitally Reconstructed Radiograph (DRR) entre l'imagerie par résonance magnétique et la fluoroscopie de bras en C, basée sur la synthèse de tomodensitométrie par des méthodes d'apprentissage profond. En premier lieu, nous explorons plusieurs architectures de réseaux adverses génératifs. Ces architectures-là ont montré d'impressionnants résultats pour la translation d'images non médicales. Nous expérimentons avec un ensemble de données public constitué de 18 volumes d'IRM et de CT. Nous constatons que l'architecture CycleGAN généralise mieux à des données non-observées que l'architecture cGAN, et que celle-ci tend à sur-apprendre. Nous introduisons aussi deux nouvelles composantes à l'architecture CycleGAN pour améliorer la résolution tridimension-nelle ainsi que la distribution des intensités pour les CT synthétiques. Enfin, nous e˙ectuons un recalage 2D/3D par DRR en utilisant les tomodensitométries synthétiques, avec une er-reur de recalage de 2.1 ± 0.2mm pour valider notre méthode. La méthode proposée, de par ses composantes que par son application, présente un fort potentiel tant pour la synthèse d'images médicales que pour le recalage multimodal.

Abstract

The structural information in three dimensions brings valuable insight and added precision to orthopedic interventions, which may otherwise only rely on bidimensional imaging modalities. Not only does 3D imaging help improve surgical accuracy, but it also helps reduce invasive-ness. The bidimensional imaging modality on which we focus in this work is the C-Arm fluroscopy. The latter is very common in operating theaters and allows for real-time versatile image acquisition to help guide interventions. That modality is often fused with CT scans to bring the added precision from the third dimension and lift the projective uncertainty on depth. CT and C-Arm fluoroscopy both rely on the physical principle of X-Ray absorption, which allows for their respective geometry and intensity distributions to be strongly corre-lated, and makes the registration problem relatively easier. However, computed tomography does not have the best contrast to visualize organs, nerves and soft tissue. It also involves a non-negligeable radiation dose. On the other hand, MRI allows itself to a better visualization of those organs and of soft tissue. It also has the advantage of not exposing the patient to ionizing radiation. The MRI contrast being very di˙erent than that of the CT, especially for the spine, makes the 2D/3D registration problem much harder. The latest advances in deep learning show promising results for the task of image translation, which is applicable to the generation of a synthetic CT from an MRI, for a subsequent 2D/3D registration to C-Arm fluoroscopy through Digitally Reconstructed Radiographs (DRR). We propose such a method for 2D/3D registration between magnetic resonance imaging and C-Arm fluoroscopy, based on synthetic CT generation using deep learning methods. First, we explore numerous generative adversarial network architectures. Those architectures have shown impressive results for non-medical image translation. We experiment with a public dataset of 18 MRI and CT volumes. We notice that the CycleGAN architecture generalizes better to unseen data than the cGAN architecture does. The latter tends to overfit. We also introduce two new components to the CycleGAN architecture, which improves the tridimen-sional resolution as well as the voxel intensity distribution of the synthetic data. Finally, we perform DRR-based 2D/3D registration using the synthetic CT, and validate our method with a registration error of 2.1 ± 0.2mm. The proposed method, through its components and through its application, o˙ers a strong potential for medical image synthesis as well as multimodal registration.