Vers une méthode automatique de reconstruction 3D du tronc scoliotique

La scoliose idiopathique adolescente est une déformation tridimensionnelle complexe du tronc. Elle est caractérisée par une déviation de la colonne vertébrale dans les trois plans de l'espace. Le diagnostic de la scoliose idiopathique adolescente actuellement utilisé à l'hôpital Sainte-Justine, est basé sur les radiographies postéro-antérieures et latérales. Le clinicien mesure l'angle de Cobb sur les radiographies et décide du traitement nécessaire pour les patients en se basant sur la sévérité de l'angle de Cobb. Cependant, l'exposition répétitive à des radiations ionisantes peut augmenter les risques de développer certains cancers. Pour cette raison, les cliniciens limitent la fréquence des acquisitions radiographiques de patients scoliotiques à une acquisition tous les six mois. Cependant, la dose cumulative d'irradiations infligées au patient durant un suivi clinique est tout de même importante. Plusieurs techniques ont été utilisées pour l'évaluation non invasive de la scoliose à partir de la topographie de la surface au cours des trente dernières années. Dans ce contexte, le système InSpeck (Creaform, inc., Lévis, Québec) est utilisé à la clinique de scoliose à l'hôpital Sainte-Justine. La précision des reconstructions 3D de la surface externe du tronc par InSpeck a été mesurée par la distance normale moyenne entre la reconstruction tridimensionnelle de InSpeck et les points mesurés à la MMT (machine à mesurer tridimensionnelle), cette distance est évaluée à 1.1±0.9 mm. Les reconstructions 3D de la surface externe du tronc de patients scoliotiques avec le logiciel EM (Editing and Merging) de InSpeck ne sont pas automatiques. Elles nécessitent des interventions manuelles qui prennent un temps considérable (en moyenne 21 minutes) pour faire une seule reconstruction 3D de la surface du tronc d'un patient scoliotique. De plus, ces interventions manuelles entrainent une faible reproductibilité. Le but de ce projet est d'automatiser les reconstructions 3D de la surface externe du tronc de patients scoliotiques afin de diminuer le temps nécessaire pour faire chaque reconstruction 3D. L'avantage d'une nouvelle méthode de reconstruction automatique et rapide est de construire rapidement une grande base de données de reconstructions 3D de la surface externe du tronc de patients scoliotiques dans différentes positions et aussi des patients normaux. Cette base de données de différentes reconstructions permettra de faire plusieurs études statistiques sur les patients normaux et les patients scoliotiques, calculer des indices cliniques pour pouvoir évaluer les déformations scoliotiques à partir de la surface externe du tronc et de faire un suivi des déformations de patients scoliotiques sur plusieurs années. Nous avons proposé et validé une méthode de reconstruction 3D automatique de la surface externe du tronc de patients scoliotiques. Celle-ci est rapide, fonctionnelle quelque soit la position du patient et indépendante de l'opérateur. De plus, les résultats sont complètement reproductibles. Cette méthode de reconstruction 3D est composée de trois étapes : le prétraitement des quatre surfaces polygonales 3D bruitées issues des numériseurs InSpeck, le recalage de ces surfaces polygonales et la fusion de géométries et de textures. Premièrement, nous avons proposé le filtre bilatéral 3D pour supprimer le bruit des surfaces polygonales pour sa simplicité, sa rapidité et ses qualités pour supprimer le bruit tout en préservant les détails fins pertinents des surfaces 3D. Nous avons choisi les paramètres du lissage en calculant la distance moyenne point à point entre la surface bruitée et la surface filtrée sur 28 surfaces polygonales. Nous avons opté pour la valeur des paramètres du filtre bilatéral σ_c=σ_s=3, puisque qualitativement le bruit n'apparait plus sur la surface filtrée et quantitativement la distance moyenne calculée sur 28 surfaces polygonales est petite (0.26±0.33 mm), elle est inférieure à la résolution en profondeur du système InSpeck (1 mm). Par la suite, nous avons présenté une mesure de calcul de la qualité des triangles d'une façon automatique et rapide. Nous avons sélectionné la valeur du facteur de qualité q=0.3 parce qu'elle permet de supprimer les triangles de mauvaise qualité et en même temps garder un minimum de pourcentage de triangles pour avoir une bonne reconstruction 3D de la surface externe du tronc de patients scoliotiques. Nous avons validé cette valeur sur 145 patients en différentes positions (debout ou en flexion). Cette étape prend seulement 3.5 secondes pour les quatre surfaces polygonales, elle est très rapide par rapport à l'étape manuelle de InSpeck qui prend environ 20 minutes. Dans une deuxième étape, les données recueillies par chaque numériseur sont exprimées dans un système de coordonnées propre à chaque caméra. Il est donc nécessaire de recaler toutes les données dans un système de coordonnées commun. Nous avons donc proposé un recalage rigide en utilisant la matrice de recalage calculée par InSpeck, suivi d'un raffinement par l'algorithme de ICP pour corriger les erreurs. Cette étape de recalage est automatique et rapide. Dans une troisième étape, nous proposons une méthode de fusion de géométries basée sur l'équation de Poisson. Cette méthode génère une surface résultante fermée et lisse et le maillage ne contient ni sommets dupliqués ni polygones en intersection. Contrairement au maillage obtenu par le logiciel de InSpeck qui contient des trous dus à des occlusions, des arêtes qui sont connectées à plus de deux faces, des sommets dupliqués et des polygones en intersection. Enfin, la méthode de fusion de textures proposée permet de récupérer la texture des quatre faces et interpoler la texture des triangles qui ont été créés par la méthode de fusion de géométries par une moyenne de toutes les couleurs sur les quatre faces. Nous avons validé quantitativement la méthode proposée de reconstruction 3D en évaluant trois mesures cliniques (la rotation de la surface du dos (BSR), la déviation du tronc dans le plan frontal et la déviation du tronc dans le plan sagittal) sur 10 patients scoliotiques. Ces mesures montrent bien que la méthode proposée est proche de celle du logiciel EM de InSpeck. L'avantage de la méthode proposée est l'automatisation et la rapidité. Le temps nécessaire pour une reconstruction 3D de la surface externe du tronc avec la méthode proposée est environ une minute au lieu de 21 minutes avec la méthode de InSpeck. Afin d'intégrer la méthode proposée de reconstruction 3D dans un outil d'évaluation clinique, nous proposons de déterminer les valeurs optimales des paramètres du filtrage et du facteur de la qualité des triangles sur une plus grande cohorte de patients scoliotiques. Une validation clinique plus exhaustive sur la reconstruction 3D proposée doit être aussi effectuée en calculant les trois mesures cliniques (BSR, déviation du tronc dans le plan frontal, déviation du tronc dans le plan sagittal) sur une plus grande cohorte de patients scoliotiques. Finalement, il faut intégrer la méthode proposée de reconstruction 3D dans une interface graphique pour l'utiliser en clinique afin de permettre une évaluation 3D des déformations scoliotiques durant la visite des patients.

Abstract

Adolescent idiopathic scoliosis is a complex three-dimensional deformation of the trunk. It is characterized by a deviation of the spine in the three planes. Presently, the diagnosis of adolescent idiopathic scoliosis used at Sainte-Justine hospital is based on the postero-anterior and lateral radiographs. The clinician measures the Cobb angle on radiographs and decides the necessary treatment for patients based on the severity of the Cobb angle. However, the repetitive use of radiographs exposes scoliotic patients to ionizing radiation, which may increase the risk of developing certain cancers. For this reason, clinicians have reduced the frequency of radiographic acquisitions for scoliotic patients to once every six months. However, the cumulative dose of radiation inflicted on the patient during clinical follow-up is nevertheless considerable. Over the last thirty years, several techniques have been used for non invasive evaluation of scoliosis. In this context, the InSpeck system (Creaform Inc., Lévis, Québec) is used in the scoliosis clinic at Sainte-Justine hospital. The precision of the 3D reconstruction of the trunk surface using this system has been evaluated by measuring the mean normal distance between the 3D reconstruction with InSpeck and the set of points digitized with a coordinate measuring machine (CMM). This distance is evaluated at. 1.1±0.9 mm. The 3D reconstructions of the trunk surface of scoliotic patients using the InSpeck EM (Editing and Merging) software are not automatic. They require manual interventions which take considerable time (on average 21 minutes) to reconstruct the trunk surface of a single scoliotic patient. Moreover, these manual interventions result in low reproducibility. The goal of this project is to develop an automatic method for reconstructing in 3D the trunk surface of scoliotic patients to reduce the time required to obtain each 3D trunk model. The advantage of a new, automatic and fast method for 3D reconstruction is to enable the rapid construction of a large database of 3D models of the trunk surface of scoliotic patients in different positions as well as normal (non-scoliotic) cases. This database of different models will allow our team to carry out several statistical studies of normal and scoliotic patients, to calculate clinical indices in order to assess the scoliotic deformities based on the trunk surface shape and to perform clinical follow-up of the deformities of scoliotic patients over several years. We have proposed and validated a method for automatic 3D reconstruction of the trunk surface of scoliotic patients. This method is fast, functional regardless of the position of the patient and independent of the operator. Moreover, the results are completely reproducible. Our 3D reconstruction method consists of three steps: preprocessing of the four noisy polygonal surfaces from the InSpeck digitizers, registration of these polygonal surfaces and merging the geometries and textures. Firstly, to remove the noise from the 3D polygonal surfaces, we have proposed the bilateral filter for its simplicity, speed and ablity to remove noise while preserving 3D surface features. We have validated the smoothing parameters by calculating the average point to point distance between the noisy surface and its filtered couterpart for 28 polygonal surfaces. Thus, we have selected the values of the smoothing parameters σ_c=σ_s=3, since, qualitatively, noise is no longer visible on the filtered surface, while quantitatively the average distance calculated over the 28 polygonal surfaces is small (0.26±0.33 mm), which is less than the depth resolution of the InSpeck system (1 mm). Subsequently, we have introduced a measure to automatically and rapidly compute the quality of triangles. We have selected the value q=0.3 for the quality factor because it eliminates triangles of poor quality while at the same time keeping a minimum percentage of triangles to obtain a good 3D reconstruction of the trunk surface. We have validated this parameter on 145 patients in different positions (standing or lateral bending). This step takes only 3.5 seconds for the four polygonal surfaces: this is very fast compared to the manual process using InSpeck EM which takes about 20 minutes. Secondly, the data captured by each digitizer are expressed in a coordinate system related to each camera. It is therefore necessary to register all the data into a common coordinate system. We have thus proposed a rigid registration technique that uses the initial registration matrices computed with the InSpeck system, followed by a refinement step using the ICP algorithm to correct errors. This registration step is automatic and fast. Thirdly, we have proposed a method for merging the geometries based on the Poisson equation. This method generates a closed and smooth surface and the resulting mesh contains no duplicate vertices or intersecting polygons, unlike the mesh obtained with the InSpeck software which contains holes due to occlusions, edges connected to more than two faces, duplicate vertices and polygon intersections. Finally, our proposed method for merging of textures retrieves the textures of the four faces and, for those triangles that were created by the geometries merge step, interpolates their texture by averaging all the colors on all four faces. We have quantitatively validated the proposed 3D reconstruction method by evaluating three clinical measures (the back surface rotation (BSR), the trunk deviation in the frontal plane and the trunk deviation in the sagittal plane) on 10 scoliotic patients. Comparison of these measurements shows that the proposed method produces trunk models close to those produced with the InSpeck EM software. The principal advantages of the proposed method are automation and speed. Indeed, the time required for a 3D reconstruction of the trunk surface with the proposed method is about one minute instead of 21 minutes with the InSpeck EM method. To integrate the proposed 3D reconstruction method into a clinical assessment tool, we propose to determine the optimal values of the filtering parameters and of the triangles quality factor on a larger cohort of scoliotic patients. A more exhaustive clinical validation of the proposed 3D reconstruction method must also be performed by calculating the three clinical measures (BSR, trunk deviation in the frontal and sagittal planes) on a larger cohort of scoliotic patients. Finally, the proposed method must be integrated into a graphical interface for use in clinical practice in order for the 3D scoliotic trunk deformity to be evaluated during the patient's visit.