Early-Stage Lung Cancer Detection Using Deep Learning Algorithms

Le cancer du poumon demeure la principale cause de mortalité liée au cancer dans le monde, et sa détection précoce est essentielle pour améliorer les taux de survie des patients. Les systèmes d’aide au diagnostic assisté par ordinateur (CAD), alimentés par l’apprentissage profond (DL), offrent des outils prometteurs pour aider les radiologues à identifier les nodules pulmonaires à un stade précoce. Cependant, des défis tels qu’une sensibilité limitée aux petits nodules, un taux élevé de faux positifs, un manque d’interprétabilité et des inefficacités computationnelles continuent de freiner leur adoption clinique à grande échelle. Cette thèse présente une série de contributions basées sur l’apprentissage profond visant à relever ces défis et à améliorer l’efficacité de la détection précoce du cancer du poumon. La recherche est structurée selon quatre axes principaux : l’amélioration de la sensibilité, la réduction des faux positifs, l’efficacité computationnelle et l’interprétabilité clinique. Dans ce cadre, quatre nouvelles architectures de détection sont proposées et évaluées. Premièrement, un mécanisme amélioré de propositions de régions est introduit en modifiant les couches d’extraction de caractéristiques de VGG16, ce qui améliore le rappel pour les petits nodules. Deuxièmement, un réseau de neurones convolutif multi-échelle optimisé (OMS-CNN) est développé à l’aide de stratégies métaheuristiques — Harmony Search et Beetle Antennae Search — pour une configuration et une initialisation efficaces des couches. Troisièmement, ce cadre est étendu avec des modules à double attention, un mécanisme DARoIPooling et des ensembles de Transformers Swin 3D afin de réduire les faux positifs tout en maintenant la sensibilité. Enfin, un modèle hybride interprétable est proposé, intégrant des connaissances anatomiques issues d’un U-Net préentraîné dans le flux CNN, améliorant à la fois la précision diagnostique et la transparence. Tous les modèles sont rigoureusement évalués à l’aide de jeux de données de référence tels que LUNA16 et PN9. Les résultats montrent des améliorations constantes du score CPM, de la sensibilité à des taux de faux positifs cliniquement pertinents et de la généralisation entre ensembles de données. Des études d’ablation confirment la contribution de chaque amélioration architecturale. Notamment, le modèle final atteint un score CPM de 0,9112 sur LUNA16 et démontre une forte capacité de généralisation sur PN9, soulignant son potentiel clinique. Cette thèse se conclut par l’identification de limitations clés, telles que la diversité des données et les changements de domaine, et propose des pistes futures, notamment l’intégration de techniques avancées d’intelligence artificielle explicable. Collectivement, les contributions de v ce travail posent les bases de systèmes CAD précis, interprétables et déployables, favorisant leur intégration dans les flux cliniques courants et contribuant à l’amélioration des résultats pour les patients.

Abstract

Lung cancer remains the leading cause of cancer-related mortality worldwide, with early detection being critical to improving patient survival rates. Computer-Aided Diagnosis (CAD) systems, powered by deep learning (DL), offer promising tools to assist radiologists in identifying pulmonary nodules at early stages. However, challenges such as limited sensitivity to small nodules, high false-positive rates, lack of interpretability, and computational inefficiencies continue to hinder widespread clinical adoption. This thesis presents a series of deep learning-based contributions designed to address these challenges and improve the effectiveness of early-stage lung cancer detection. The research is organized along four primary axes: sensitivity improvement, false-positive reduction, computational efficiency, and clinical interpretability. To this end, four novel detection frameworks are proposed and evaluated. First, an enhanced region proposal mechanism is introduced by modifying VGG16’s feature extraction layers, improving recall for small nodules. Second, an Optimized Multi- Scale Convolutional Neural Network (OMS-CNN) is developed using metaheuristic strategies— Harmony Search and Beetle Antennae Search—for efficient layer configuration and initialization. Third, the framework is extended with dual-attention modules, DA-RoIPooling, and 3D Swin Transformer ensembles to reduce false positives while preserving sensitivity. Finally, an interpretable hybrid model is proposed by integrating anatomical priors from a pretrained U-Net into the CNN stream, enhancing both diagnostic accuracy and transparency. All models are rigorously evaluated using benchmark datasets such as LUNA16 and PN9. Results show consistent improvements in CPM score, sensitivity at clinically relevant false positive rates, and cross-dataset generalization. Ablation studies confirm the contribution of each architectural enhancement. Notably, the final model achieves a CPM of 0.9112 on LUNA16 and demonstrates strong generalization on PN9, highlighting its clinical potential. This thesis concludes by identifying key limitations, such as data diversity and domain shift, and proposes future directions including the integration of advanced explainable AI techniques. Collectively, the contributions of this work lay a foundation for accurate, interpretable, and deployable CAD systems that support integration into routine clinical workflows and ultimately improve patient outcomes.