Performance Analysis of Data Stream Processing Systems

L’utilisation des mégadonnées (big data) est indispensable dans les environnements d’affaires contemporains, où elle joue un rôle crucial dans l’amélioration des processus de prise de décision. Les volumes énormes de Big Data nécessitent non seulement un traitement en temps réel efficace, mais également des plateformes robustes capables de gérer une telle complexité. À cet égard, Apache Spark s’est imposé comme une plateforme prééminente, largement reconnue pour sa maturité et sa haute performance au sein de l’écosystème des grandes données. Malgré ses capacités, la performance d’Apache Spark peut souffrir de plusieurs problèmes, tels que des limitations matérielles, des problèmes de réseau et des configurations inappropriées, qui peuvent réduire significativement l’efficacité opérationnelle dans divers contextes d’utilisation. En réponse à ces défis, ce mémoire introduit une approche novatrice et peu intrusive à l’analyse de la performance spécifiquement conçue pour les applications de flux de données, avec Apache Spark servant d’étude de cas fondamentale. Cette approche combine de manière créative le traçage d’applications à double niveau avec une architecture de collecte de traces complète qui intègre à la fois les données de journalisation et le traçage au niveau du noyau. Cette stratégie de traçage double est conçue pour capturer une perspective granulaire et à deux volets des opérations système, permettant une analyse détaillée que les méthodes de traçage à couche unique pourraient manquer. Le coeur de cette méthodologie réside dans sa capacité à produire des visualisations interactives qui illustrent la dynamique opérationnelle du système, permettant ainsi aux utilisateurs d’identifier et de comprendre les problèmes de performance plus efficacement. Ces visualisations servent d’outil crucial pour diagnostiquer et résoudre les goulets d’étranglement de performance, fournissant des résultats à la fois exploitables et faciles à comprendre. Les résultats expérimentaux préliminaires ont validé l’efficacité de cette approche, démontrant qu’elle entraîne une surcharge système modeste d’environ 5%. Une telle faible surcharge garantit que l’analyse de la performance peut être menée dans un contexte quasi temps réel sans impacter significativement la performance globale du système. Cette thèse vise à élargir la compréhension actuelle de l’analyse de la performance dans le traitement des grandes données en détaillant le développement et l’application de cette nouvelle méthodologie. Elle examine les effets plus larges du traçage à double niveau sur l’amélioration de la performance et de la fiabilité des plateformes de grandes données à travers des expériences et des analyses approfondies. Cela conduit à des méthodes plus efficaces et fiables de traitement des grandes données.