Towards Reliable, Production-Ready Deep Learning and Deep Reinforcement Learning Systems

Nous sommes au bord d’une nouvelle révolution technologique alimentée par l’intelligence artificielle (IA) qui remodèle les industries et modifie notre vie quotidienne. Au cours des dernières années, des progrès notables ont été réalisés dans les domaines de l’apprentissage profond (DL) et du apprentissage par renforcement profond (DRL), les sous-domaines les plus recherchés en matière d’IA. Ces progrès ont conduit à des réalisations importantes dans plusieurs domaines tels que la robotique, la médecine et les transports. En outre, l’accessibilité d’une puissance de calcul abordable et l’expansion rapide des données sont des facteurs clés pour le développement de modèles DL et DRL de pointe. Toutefois, générer du profit grâce à l’apprentissage automatique (ML) exige plus que simplement de développer le meilleur modèle ML; il exige l’exploitation d’un système ML holistique qui fonctionne de manière fiable et s’adapte aux changements de la dynamique de l’entreprise. Cette néces- sité d’exploitation a mis en évidence la nécessité de mettre en place une discipline axée sur l’acheminement de la ML à la production. Opérations d’apprentissage automatique (MLOps) a attiré un intérêt considérable dans le domaine de l’ingénierie ML en raison de ses améliora- tions notables en matière de qualité du logiciel et de temps de mise sur le marché. MLOps est une méthodologie d’ingénierie de ML qui formalisent et automatisent les différentes étapes du cycle de vie de ML, avec l’objectif d’unifier le développement et les opérations de ML. Les rapports actuels du secteur mettent l’accent sur les difficultés des entreprises de ML, en particulier celles qui exploitent DL et DRL, à appliquer les principes MLOps et à passer d’une solution de preuve de concept à un système ML fiable et prêt pour la production. Cela est attribué à l’opérationnalisation actuelle, lente, manuelle et difficile des systèmes ML, qui appelle à plus de dévouement et d’attention de la part du monde universitaire et de l’industrie. Plusieurs défis entravent la production transparente du ML dans des applications du monde réel, couvrant toutes les phases du cycle de vie de l’opérationnalisation du ML, y compris la validation, le déploiement et la surveillance des modèles. En effet, il existe un manque important d’outils, de lignes directrices et de recherches spécifiquement axés sur la phase de déploiement de DL et DRL. Les universités et les entreprises sont principalement concernées par la phase de développement des systèmes ML, avec une attention minimale sur le déploiement. La rareté des recherches sur les défis de déploiement spécifiques aux DRL a laissé les praticiens mal informés des problèmes potentiels qu’ils peuvent rencontrer lors du déploiement de systèmes basés sur les DRL. De plus, on s’appuie toujours sur des procédures traditionnelles, souvent inefficaces, pour évaluer la fiabilité des stratégies de compression post-entraînement, telles que la quantification. Dans les environnements de production réels, ces techniques traditionnelles d’évaluation de la fiabilité affectent la validation du modèle, ce qui constitue un obstacle à l’évaluation précise du comportement du modèle. De plus, le phénomène de dérive des données, c’est-à-dire l’altération de la distribution des données au fil du temps dans les contextes opérationnels, continue de constituer un obstacle important à la surveillance du ML en production. Cela peut entraîner une détérioration notable des performances du modèle. Lorsque cette condition n’est pas rapidement identifiée et résolue, elle peut augmenter considérablement les coûts opérationnels et les temps d’arrêt. Compte tenu des défis susmentionnés, il est primordial d’appliquer davantage les principes MLOps relatifs à chaque phase d’opérationnalisation du ML et d’améliorer la fiabilité et la préparation à la production des systèmes DL et DRL. Dans cette thèse, nous souhaitons contribuer à trois aspects clés couvrant des phases dis- tinctes du cycle de vie de l’opérationnalisation du ML. Notre objectif est de relever les défis qui surviennent tout au long des phases de déploiement, de validation et de surveillance du modèle. Cette approche ciblée permet un examen plus approfondi des défis auxquels les praticiens du ML sont confrontés lors de la transition de la validation de principe à des systèmes fiables et prêts pour la production. Tout d’abord, nous abordons le déploiement du modèle. Plus précisément, nous contribuons à améliorer notre compréhension des défis pratiques rencontrés par les développeurs lors du déploiement de systèmes DRL en menant une étude empirique sur Stack Overflow (SO), le plus grand forum mondial de développeurs. Dans cette étude, nous avons examiné les articles de SO sur le déploiement de DRL, étudié l’état actuel et mis en évidence les défis associés au déploiement de systèmes DRL. Ensuite, nous examinons la fréquence et la difficulté de ces défis. Ensuite, nous avons examiné la fia- bilité des techniques de quantification des réseaux neuronaux profonds (DNN) dans le but de découvrir l’impact réel de ces techniques dans les environnements de production. Nous pro- posons DiverGet, une approche de test basée sur la recherche pour évaluer l’impact réel des méthodes de quantification. DiverGet vise à détecter les entrées induisant des différences qui provoquent des désaccords comportementaux entre un DNN original et sa version quantifiée, permettant ainsi une évaluation complète de l’influence des approches de quantification. En- fin, notre troisième étude plonge dans le suivi des modèles, en se concentrant sur le phénomène de dérive des données dans les DRL (également appelée dérive environnementale). La dérive environnementale est susceptible de provoquer une dégradation des performances prédictives du système DRL en production. L’apprentissage continu (CL) est actuellement la solution in- contournable pour guérir les systèmes DRL après des dérives environnementales. Cependant, en raison des inefficacités de la CL, telles que l’oubli catastrophique et la lente convergence, la CL peut entraîner des cycles de guérison longs, voire infructueux. Pour atténuer ce prob- lème, nous avons introduit Dr.DRL, une nouvelle approche d’auto-guérison DRL qui intègre un mécanisme d’oubli intentionnel. Dr.DRL est conçu pour donner systématiquement la priorité à l’adaptation des capacités de résolution de problèmes d’un agent DRL dans des contextes de production réels en présence de dérive environnementale. Notre approche réini- tialise délibérément les comportements mineurs du système DRL afin de mettre l’accent sur l’adaptation du comportement majeur, améliorant ainsi la vitesse d’auto-guérison. L’éventail des questions de recherche présentées dans cette étude couvre l’ensemble du cycle de vie de l’opérationnalisation du ML, abordant des défis allant de la validation du modèle à la surveillance du modèle. Notre étude vise à alléger le fardeau de l’opérationnalisation du ML pour les praticiens du ML et à servir de base sur laquelle la communauté du ML peut s’appuyer vers des systèmes DL et DRL plus fiables et prêts pour la production.