Mise à l'échelle des analyses de trace dans une architecture modulaire

Les systèmes de calcul de haute performance deviennent de plus en plus nécessaires pour répondre aux besoins auxquels nous sommes confrontés afin de fournir des services dont des millions d’utilisateurs dépendent chaque jour. Il est donc important de disposer d’outils axés sur la compréhension du fonctionnement du système, en collectant les informations nécessaires permettant de dresser des analyses. Dans ce contexte, le traçage, qui est une technique largement connue permettant de collecter les informations sur les fonctionnements internes et les états du système, constitue l’une des meilleures approches. Dans ce cas précis, l’information collectée nécessite le développement de visualisations basées sur des analyses définies en amont, et permettant l’interaction avec l’utilisateur dans son cycle de développement et d’opération. Il existe des solutions pour analyser les traces collectées dans les systèmes de calcul de haute performance, mais aucune d’entre elles ne résout complètement les besoins en évolutivité du traitement des analyses et en flexibilité du développement des analyses. Par conséquent, nous proposons une nouvelle solution qui permet la mise à l’échelle des analyses dans une architecture modulaire. Notre travail s’étend à l’implémentation d’une architecture distribuée visant à accroître l’évolutivité des outils d’analyse et visant à résoudre les problèmes de flexibilité lors du développement d’analyses. De plus, nous avons étendu le Trace Server Protocol. Cela nous a permis d’implémenter des analyses globales à l’échelle d’une grappe de calcul et faciliter l’analyse des traces connectées en exploitant les évènements réseaux. Des bancs de tests ont été menés afin d’évaluer le gain en performance et le surcoût associés à l’architecture distribuée Maître-Ouvrier par rapport à l’approche précédente, l’architecture distribuée client-serveur. En conclusion, les résultats montrent un gain en performance significatif en fonction du nombre de noeuds mis en place et indiquent un faible surcoût. La majorité du surcoût est causée par la sérialisation du format JSON. Nous avons conclu que la solution pourrait facilement être portée dans les systèmes de calcul de haute performance, mais aussi dans tout système distribué qui nécessite une puissance d’analyse de traces supérieure et une vaste gamme d’options d’analyse. Cependant, dans les cas où le volume des traces est faible, le gain pourrait être nul ou même se transformer en légère perte.