Towards Reliable and Trustworthy Pipelines for MLOps and LLMOps

Les modèles d’apprentissage automatique (ML) et les grands modèles de langage (LLMs) ont démontré une grande efficacité dans l’automatisation de tâches traditionnellement effectuées manuellement. Leur performance a favorisé leur intégration dans des applications critiques, au point de constituer l’infrastructure de base de nombreux systèmes complexes basés sur l’intelligence artificielle (IA). Pour gérer l’ensemble du cycle de vie de ces modèles, des cadres opérationnels tels que le Machine Learning Operations (MLOps) et le Large Language Model Operations (LLMOps) ont émergé, proposant des outils et des bonnes pratiques adaptés. Les pipelines MLOps et LLMOps permettent le déploiement continu de modèles améliorés, que ce soit par l’adoption de versions plus performantes ou par l’adaptation des modèles à des environnements dynamiques en constante évolution, via l’entraînement continu (CT) sur des données de production récentes. Ces pratiques visent à renforcer la fiabilité des systèmes basés sur l’IA.

Abstract

Machine Learning (ML) models and Large Language Models (LLMs) have demonstrated strong capabilities in automating tasks traditionally performed manually. Their effectiveness has led to their integration into critical applications, forming the backbone of complex AIbased systems. To manage the full lifecycle of these models, operational frameworks such as Machine Learning Operations (MLOps) and Large Language Model Operations (LLMOps) have emerged, offering tailored tools and best practices. MLOps and LLMOps pipelines enable the continuous deployment of improved models—either by updating to more capable versions or by adapting models to evolving, dynamic environments through Continuous Training (CT) on fresh production data. These practices aim to enhance the dependability of AI-based systems. However, despite offering best practices and tools to support robustness, MLOps and LLMOps pipelines do not inherently guarantee reliability or trustworthiness. For instance, deploying a sub-optimal model may lead to performance degradation instead of improvement, ultimately compromising the reliability of the entire pipeline. Such reliability issues can lead to costly failures, loss of stakeholder trust, and critical errors in high-stakes applications.