Intraoperative Vertebra Segmentation From 3D Point Clouds for Radiation-Free Spinal Curve Tracking in Scoliosis Surgery

La scoliose se caractérise par une courbure anormale de la colonne vertébrale, pouvant avoir un impact significatif sur la posture, la mobilité et la qualité de vie des patients. Pour les cas les plus sévères, une intervention chirurgicale corrective devient nécessaire afin de réaligner la colonne vertébrale et de prévenir l’aggravation de la déformation, en stabilisant ou en fusionnant les vertèbres atteintes. Cette intervention s’effectue généralement en deux étapes clés. D’abord, la pose de vis pédiculaires pour ancrer les vertèbres ; ensuite, le réalignement progressif de la colonne pour corriger la déformation. Bien que les procédures chirurgicales assistées par ordinateur aient considérablement amélioré la précision et l’efficacité de la pose des vis pédiculaires, la deuxième étape, à savoir le réalignement de la colonne, repose encore largement sur l’expertise du chirurgien et son appréciation visuelle, et bénéficie de beaucoup moins de soutien technologique. De plus, la majorité des systèmes de navigation actuels s’appuie sur l’imagerie radiographique peropératoire, exposant ainsi les patients et le personnel médical aux rayonnements ionisants, ce qui soulève des préoccupations en matière de sécurité et d’usage à long terme. Cette thèse propose une nouvelle approche d’assistance peropératoire sans recours aux rayonnements, basée sur l’utilisation de nuages de points 3D acquis de manière non-irradiante par un senseur à lumière structurée. Nous présentons un pipeline de segmentation fondé sur l’apprentissage profond, capable d’identifier en temps réel les structures vertébrales apparentes à partir des données 3D. Comparé aux méthodes existantes, notre approche basée sur le modèle Point Transformer V3, présente de meilleurs performances sur la tâche de segmentation des vertèbres, évaluée à partir de la base de données public SpineDepth. Pour pallier à la limitation des déplacements vertébraux dans ce jeu de données et pour améliorer la généralisation du modèle à différents contextes, nous avons développé trois bases de données semi-synthétiques additionnelles, intégrant une stratégie d’augmentation colorimétrique simulant diverses variations anatomiques et conditions d’imagerie rencontrées en chirurgie de la scoliose. Nous avons démontré que l’utilisation additionnelle de ces données semi-synthétiques pour l’entrainement du modèle permet, du moins qualitativement, une meilleure segmentation des vertèbres dans des acquisitions intra-opératoires réelles. Ce travail établit un lien entre les recherches antérieures en modélisation anatomique préopératoire et les futurs systèmes d’évaluation du réalignement en temps réel, représentant une avancée notable vers une chirurgie de la scoliose assistée par l’image sans rayonnement ionisant et permettant un suivi en continu de l’alignement vertébral.

Abstract

Scoliosis is characterized by an abnormal 3D curvature of the spine that can significantly affect a patient’s posture, mobility, and quality of life. In severe cases, corrective surgery becomes necessary to realign the spinal column and prevent further progression of the curvature by stabilizing or fusing the affected vertebrae. This procedure is typically carried out in two critical stages: first, the placement of pedicle screws to anchor the vertebrae; second, the spinal realignment to gradually correct the deformity. Although computer-assisted surgical technologies have greatly improved the accuracy and efficiency of pedicle screw placement, the second phase, spinal realignment, remains largely dependent on the surgeon’s expertise and visual judgment, and receives far less technological support. Furthermore, most existing navigation systems rely on intraoperative radiographic imaging, which exposes both patients and medical staff to ionizing radiation, raising concerns about safety and long-term use. This thesis proposes a novel, radiation-free approach to intraoperative guidance using 3D point clouds acquired using a structured-light sensor. We present a deep learning-based segmentation framework capable of identifying exposed vertebral structures in real time, directly from 3D point clouds. At the core of our framework is the Point Transformer V3, which demonstrated superior performance on vertebrae segmentation over prior methods when evaluated on the public SpineDepth dataset. Because this dataset is limited in terms of vertebral displacement and, at the same time, to improve domain generalization, we developed three additional semi-synthetic datasets with a color-based augmentation strategy that simulates a range of anatomical and imaging variations encountered in scoliosis surgery. Incorporating these semi-synthetic datasets into model training noticeably improves vertebra segmentation in real intraoperative acquisitions. This work builds a bridge between earlier research in preoperative anatomical modeling and future systems for real-time continous spinal alignment assessment,representing a critical step toward comprehensive, intelligent, and radiation-free image-guided scoliosis surgery.