Benchmarking Framework and Performance Modeling for Evaluating the Performance of Spark-Based Data Science Projects

La récente augmentation de l’adoption des sciences des données et du big data a eu un impact significatif sur Comment nous prenons des décisions basées sur les données. À mesure que ces technologies se sont répandues, la demande de modélisation et d’évaluation des performances des applications de sciences des données a augmenté. Pour répondre à ce besoin, une plateforme de référence a été développée pour évaluer les performances de ces applications. Cette plateforme intègre une phase de collecte de données où des métriques pertinentes sont rassemblées. Ces métriques sont essentielles pour comprendre et quantifier les performances du système. Les données collectées sont ensuite utilisées dans différents modèles de régression classiques et d’apprentissage en profondeur. Ces modèles sont entraînés pour prédire deux indicateurs clés de performance. Le débit indique la quantité de travail qu’un système peut gérer dans une période désignée, tandis que le temps de réponse fait référence à la vitesse à laquelle le système peut réagir et traiter les demandes entrantes. Les prédictions du débit et du temps de réponse sont basées sur différentes caractéristiques de charge de travail, configurations de la topologie Spark et configurations de l’infrastructure. En prenant en compte ces facteurs, la plateforme de référence permet une évaluation globale des performances des applications de sciences des données.