<  Back to the Polytechnique Montréal portal

Deep Learning Methods for MRI Spinal Cord Gray Matter Segmentation

Christian Samuel Perone

Master's thesis (2019)

Open Access document in PolyPublie
[img]
Preview
Open Access to the full text of this document
Terms of Use: All rights reserved
Download (11MB)
Show abstract
Hide abstract

Abstract

The human spinal cord, part of the Central Nervous System (CNS), is the main pathwayresponsible for the connection of brain and peripheral nervous system. The gray matterpresent in the spinal cord is known to be associated with many neurological disorders such asmultiple sclerosis and amyotrophic lateral sclerosis.Magnetic Resonance Imaging (MRI) is often used to study diseases and monitor the diseaseburden/progression during the course of the disease. To that goal, morphometrics extractedfrom the spinal cord gray matter such as gray matter volume can be used to identify andunderstand tissue changes that are associated with the aforementioned neurological disorders.To extract morphometrics from the spinal cord gray matter, a voxel-wise annotation is requiredfor each slice of the MRI volume. Manual annotation becomes prohibitive in practice due to thetime-consuming efforts required to manually annotate each slice of an MRI volume voxel-wise,not to mention the disagreement and bias introduced by different human annotators.Many semi-automatic or fully-automatic methods exist but most of them are composed bymulti-stage approaches that can propagate errors in the pipeline, rely on data dictionaries,or doesn't generalize well when there are anatomical changes. It is well-known that moderntechniques based on representation learning and Deep Learning achieved excellent results in awide range of tasks from computer vision and medical imaging as well.The research agenda of this project is to advance the state-of-the-art results of previousmethods by means of modern Deep Learning techniques through the design, implementation,and evaluation of these methods for the spinal cord gray matter segmentation. In this project,three main techniques were developed an open-sourced, as described below.The first technique is the design of a Deep Learning architecture to segment the spinal cordgray matter that achieved state-of-the-art results when evaluated by a third-party systemand compared to other 6 independently developed methods for gray matter segmentation.This technique also allowed to segment an ex vivo volume with more than 4000 slices by justproviding less than 30 annotated samples from the same volume.The second technique was developed to take leverage not only of labeled data but alsofrom unlabeled data by means of a semi-supervised learning method that was extended tosegmentation tasks. This method achieved significant improvements in a realistic scenariounder a small data regime by adding unlabeled data during the model training process.The third developed technique is an unsupervised domain adaptation method for segmentation. In this work, we addressed the problem of the distributional shift present on MRI data thatis mostly caused by different acquisition parametrization. In this work, we showed that byadapting the model to a target domain, presented to the model as unlabeled data, it is possibleto achieve significant improvements on the gray matter segmentation for the unseen targetdomain.Following the open science principles, we open-sourced all the methods on public repositoriesand implemented some of them on the Spinal Cord Toolbox (SCT) 2, a comprehensive andopen-source library of analysis tools for MRI of the spinal cord. We also used only publicavailable datasets for all evaluations and model training, and also published all articles onopen-access journals with free availability on pre-print archive servers as well.In this work, we were able to see that Deep Learning models can indeed provide huge stepsforward when compared to the previously developed methods. Deep Learning methods arevery flexible and robust, allowing end-to-end learning of entire segmentation pipelines whilebeing able to take leverage of unlabeled data to improve the performance for the same domainon a semi-supervised learning scenario, or by taking leverage of unlabeled data to improvethe performance of models in unseen target domains.It is also clear that Deep Learning is not a panacea for medical imaging. Many problemsremain open, such as the generalization gap that is still present when using these models onunseen domains. A future line of research includes the on-going development of techniquesto inform machine learning models with MRI acquisition parametrization to improve thegeneralization of the model to different contrasts, to the inherent variability of these imagesdue to different machine vendors and anatomical changes, to name a few. Another potentialarea of research is the uncertainty estimation for knowledge distillation during training phasesof the approaches described in this work. However, uncertainty measures are still an openarea of research in Deep Learning with most methods providing a poor approximation orunder-estimation of the epistemic uncertainty present in these models.Medical imaging is still a very challenging field for machine learning models due to the strongassumptions of distributional identity made by statistical learning algorithms as well as thedifficulty to incorporate new inductive biases into these models to take leverage of symmetry,rotation invariance, among others. Nevertheless, with the amount of data availability growing,they show great promises and are slowly gaining robustness enough to be able to enter in clinical practice.

Résumé

La moelle épinière humaine, qui fait partie du système nerveux central, est la principalevoie responsable de la connexion du cerveau et du système nerveux périphérique. On saitque la matière grise présente dans la moelle épinière est associée à de nombreux troublesneurologiques tels que la sclérose en plaques et la sclérose latérale amyotrophique.L'IRM est souvent utilisée pour étudier les maladies neurologiques et surveiller leur évolution.À cette fin, la morphométrie extraite de la substance grise de la moelle épinière, telle que levolume de la substance grise, peut être utilisée pour identifier et comprendre les modificationstissulaires associées aux troubles neurologiques comme ceux mentionnés précédemment.Pour extraire des mesures morphométriques de la matière grise de la moelle épinière, uneannotation (label) par voxel est requise pour chaque tranche du volume IRM. L'annotationmanuelle ne peut donc pas être facilement implémenté dans la pratique en raison non seulementdes efforts fastidieux nécessaires pour annoter manuellement chaque tranche d'un volumed'IRM, mais aussi du désaccord et des biais introduits par différents annotateurs humains.Toutefois, il existe de nombreuses méthodes semi-automatiques ou entièrement automatiquespour annoter chaque voxel, mais la plupart d'entre elles sont composées d'approches enplusieurs étapes pouvant propager des erreurs dans le pipeline, s'appuient sur des dictionnairesde données ou ne généralisent pas bien lorsqu'il y a des changements anatomiques. Il estbien connu que les techniques modernes basées sur l'apprentissage par la représentation etl'apprentissage en profondeur ont obtenu d'excellents résultats dans un large éventail detâches allant de la vision par ordinateur à l'imagerie médicale.Le programme de recherche de ce projet consiste à améliorer les résultats les plus récents desméthodes existantes au moyen de techniques modernes d'apprentissage en profondeur grâceà la conception, la mise en oeuvre et l'évaluation de ces méthodes pour la segmentation dela substance grise de la moelle épinière. Dans ce projet, trois techniques principales ont étédéveloppées: en open source, comme décrit ci-dessous.La première technique consistait à concevoir une architecture d'apprentissage en profondeurpour segmenter la matière grise de la moelle épinière et a permis d'obtenir de meilleuresrésultats comparé à six autres méthodes développées précédemment pour la segmentation dela matière grise. Cette technique a également permis de segmenter un volume ex vivo avecplus de 4000 tranches en fournissant au préalable et moins de 30 échantillons annotés dumême volume.La deuxième technique a été développée pour tirer profitnon seulement des données anotées,mais aussides données qui ne le sont pas (données non anotées) au moyen d'une méthoded'apprentissage semi-supervisée étendue aux tâches de segmentation. Cette méthode a apportédes améliorations significatives dans un scénario réaliste sous un régime de données réduit enajoutant des données non annotées au cours du processus de formation du modèle.La troisième technique développée est une méthode d'adaptation de domaine non superviséepour la segmentation. Dans ce travail, nous avons abordé le problème du décalage dedistribution présent sur les données IRM, qui est principalement causé par différents paramètresd'acquisition. Dans ce travail, nous avons montré qu'en adaptant le modèle à un domainecible présenté au modèle sous forme de données non annotées, il est possible d'améliorer demanière significative la segmentation de la matière grise pour le domaine cible invisible.Conformément aux principes de la science ouverte pour tous (open science), nous avons ouverttoutes les méthodes sur des référentiels publics et en avons implémenté certaines sur la SpinalCord Toolbox (SCT) 1, une bibliothèque complète et ouverte d'outils d'analyse pour l'IRMde la moelle épinière. Nous avons également utilisé uniquement des ensembles de donnéesaccessibles au public pour toutes les évaluations et la formation de modèles, ainsi que pour lapublication de tous les articles sur les revues en libre accès, avec une disponibilité gratuite surles serveurs d'archives pré-imprimées.Dans ce travail, nous avons pu constater que les modèles d'apprentissage en profondeurpeuvent en effet fournir des progrès considérables par rapport aux méthodes précédemmentdéveloppées. Les méthodes d'apprentissage en profondeur sont très flexibles et robustes. Ellespermettent d'apprendre de bout en bout l'ensemble des pipelines de segmentation tout enpermettant de tirer profit de données non annotées pour améliorer les performances du mêmedomaine dans un scénario d'apprentissage semi-supervisé ou en tirant parti de données nonétiquetées pour améliorer les performances des modèles dans des domaines cibles non vus.Il est également clair que l'apprentissage en profondeur n'est pas une panacée pour l'imageriemédicale. De nombreux problèmes demeurent en suspens, tels que le décalage de généralisationtoujours présent lors de l'utilisation de ces modèles sur des domaines non vus. Unfutur axe de recherche inclut le développement en cours de techniques pour éclairer les modèlesd'apprentissage automatique avec paramétrisation d'acquisition IRM afin par exempled'améliorer la généralisation du modèle à différents contrastes, ainsi que d'améliorer la variabilitéinhérente de ces images due aux différentes machines et aux changements anatomiques.L'estimation de l'incertitude liée à la distillation des connaissances au cours des phases deformation des approches décrites dans ce travail constitue un autre domaine de recherche1disponible à https://github.com/neuropoly/spinalcordtoolbox.potentiel. Cependant, les mesures d'incertitude font partie d'un domaine de recherche encours d'évolution dans le Deep Learning. En effet la plupart des méthodes fournissant uneapproximation médiocre ou une sous-estimation de l'incertitude épistémique présente dansces modèles.L'imagerie médicale reste un domaine très difficile pour les modèles d'apprentissage automatiqueen raison des fortes hypothèses d'identité distributionnelle formulées par les algorithmesd'apprentissage statistique ainsi que de la difficulté à incorporer de nouveaux biais inductifsdans ces modèles pour tirer parti de la symétrie, de l'invariance de rotation, entre autres. Néanmoins,avec la quantité croissante de données disponibles, elles offrent de grandes promesseset gagnent lentement en robustesse pour pouvoir entrer dans la pratique clinique.
Department: Institut de génie biomédical
Program: Génie biomédical
Academic/Research Directors: Julien Cohen-Adad
PolyPublie URL: https://publications.polymtl.ca/3811/
Institution: Polytechnique Montréal
Date Deposited: 12 Jun 2019 10:54
Last Modified: 09 Nov 2022 09:49
Cite in APA 7: Samuel Perone, C. (2019). Deep Learning Methods for MRI Spinal Cord Gray Matter Segmentation [Master's thesis, Polytechnique Montréal]. PolyPublie. https://publications.polymtl.ca/3811/

Statistics

Total downloads

Downloads per month in the last year

Origin of downloads

Repository Staff Only

View Item View Item