Deep Learning Model Generalization for Microscopy Image Analysis

L'analyse de structures cellulaires dans les images de microscopie est l'une des tâches les plus importantes dans diverses études biologiques et diagnostic de maladies. En particulier, la segmentation et la classification sont deux tâches essentielles qui sont effectuées régulièrement dans la pratique. Cependant, l'hétérogénéité, le débit et la complexité croissants des données générées par les microscopes modernes ont introduit divers défis pour les algorithmes informatiques automatiques. Cela est d'autant plus vrai pour les approches basées sur l'apprentissage profond. Premièrement, la création manuelle d'une vérité terrain suffisante pour entraîner les données dans la classification automatique ou en particulier la segmentation est un défi car elle nécessite une intervention importante de la part des experts du domaine. Ensuite, étant donné le nombre limité d'échantillons de données étiquetées pour l'entrainement, les modèles d'apprentissage profond ont souvent une faible capacité de généralisation. De plus, la complexité élevée du modèle en termes de temps de calcul requis et de processus d'entrainement a un impact sur l'adoption de solutions d'apprentissage profond. Les biologistes ou les pathologistes ont du mal à choisir un modèle d'apprentissage profond existant parmi les autres qui serait plus approprié pour leur application qui nécessite des paramètres spécifiques de préparation d'échantillons et d'acquisition d'images. L'objectif principal de cette thèse est de développer de nouvelles architectures et techniques d'apprentissage profond pour améliorer la généralisation et l'applicabilité de ces algorithmes pour la segmentation et la classification des images de microscopie dans diverses conditions expérimentales, telles que les types de microscopes, les conditions d'acquisition d'images, les processus de préparation d'échantillons et les catégories de cellules. La première étude examine s'il est possible d'éliminer la dépendance du modèle d'apprentissage profond au processus d'étiquetage manuel pour la segmentation des noyaux dans les images d'histopathologie. Nous avons développé un modèle de segmentation DL non supervisé qui est adaptable au domaine. Notre approche s'est concentrée sur l'exploitation des connaissances préalables des paramètres physiques dans le processus d'acquisition d'images et sur la combinaison d'une architecture d'apprentissage profond avec des algorithmes classiques de traitement d'images. Nous concevons également un module de synthèse de données pour générer des ensembles de données augmentés contenant des exemples similaires à chacune des images cibles tout en identifiant leurs masques correspondants. Les résultats qui ont été obtenus sur trois bases de données publiques d'images histopathologiques démontrent que notre méthode peut surpasser les autres approches de segmentation non supervisée et sa performance est comparable à celle des modèles DL supervisés.

Abstract

The analysis of cellular structures in microscopy images is one of the most important tasks in various biological studies and disease diagnosis. In particular, segmentation and classification are two essential tasks that are done regularly in practice. However, the increasing heterogeneity, throughput and complexity of the data generated by modern microscopes have introduced various challenges for automatic computer algorithms. This is undoubtedly true for deep learning-based approaches. First, the manual creation of sufficient ground truth for training data in automated classification or especially segmentation is challenging since it requires a big commitment from domain experts. Then, given the limited labeled data samples for training, deep learning models often have low generalization ability. Furthermore, the high model complexity in terms of computing requirements and training process impacts the adoption of deep learning solutions. Biologists or pathologists find it difficult to choose one existing deep learning model over the others for their application having specific specimen preparation and image acquisition settings. The main objective of this thesis is to develop novel deep learning architectures and techniques to improve the generalization and applicability of deep learning solutions for the segmentation and classification of microscopy images across various experimental conditions, such as microscope types, imaging conditions, sample preparation processes and cell categories. The first study investigates whether it is possible to eliminate the dependence of the deep learning model on the manual labeling process for the segmentation of nuclei in histopathology images. We developed an unsupervised DL segmentation model that is domain-adaptable. Our approach focused on exploiting prior knowledge of physical parameters in the image acquisition process and combining deep learning architecture with classical algorithms. We also design a data synthesis pipeline to generate augmented datasets containing examples resembling each of the target images and having their corresponding masks. The results which were recorded on three public datasets of histopathological images demonstrate that our method can outperform other unsupervised segmentation approaches and be comparable with supervised DL models. In the subsequent studies, we focused on addressing the question of whether it is possible to develop deep learning-based classifiers that have good generalization across different applications given very limited training data. We first developed a lightweight CNN model to classify microscopy images in multiple domains simultaneously.