TRIPT-IDS: Triplet Loss Pre-Trained Transformer for Avionic Intrusion Detection System

L’évolution des technologies de pointe et leur intégration transparente dans les infrastructures critiques, en particulier dans le secteur de l’avionique, ont repoussé les limites de ce qui peut être accompli. L’incorporation de systèmes interconnectés et de communication sans fil a entraîné un changement de paradigme dans les avions modernes, et cette tendance devrait perdurer à l’avenir. Malheureusement, ces avancées remarquables ont également introduit des vulnérabilités qui étaient autrefois considérées comme impossibles. Notamment, des protocoles spécialisés tels que le MIL-STD-1553 ont été établis à une époque antérieure à la cybersécurité, les rendant mal équipés pour résister aux menaces cybernétiques modernes. Le paysage actuel de la cybersécurité dans le domaine de l’avionique repose fortement sur des mécanismes de sécurité enracinés dans des protocoles désuets principalement conçus pour assurer la fiabilité et la détermination de la communication, complétée par l’incorporation de mesures d’obscurcissement. Bien que ces mesures de protection contribuent à renforcer la sécurité, elles ne fournissent pas une sécurité absolue. Compte tenu du cadre réglementaire actuel et de la complexité inhérente à la rétro-ingénierie des systèmes avioniques existants et futurs, les efforts de recherche en cours sont fortement concentrés sur le développement de solutions pouvant être intégrées de manière transparente en tant qu’extensions, telles que les systèmes de détection d’intrusion (de l’anglais Intrusion Detection System (IDS)). Cette approche vise à résoudre rapidement les vulnérabilités inhérentes à ces systèmes. À l’heure actuelle, les IDS avioniques de pointe utilisent des modules multifacettes pour identifier diverses menaces, en employant principalement des approches basées sur les réseaux neuronaux récurrents (de l’anglais Recurrent Neural Network (RNN)) et les autoencodeurs (AE). Certains de ces IDS sont entraînés exclusivement sur des données sans aucune cyberattaque, mais ils sont limités dans la détection d’un sous-ensemble d’attaques. À l’inverse, les IDS entraînés sur des données étiquetées ne sont souvent pas testés contre une combinaison de vecteurs d’attaque et données de vol précédemment inconnus, et elles peuvent ne pas fonctionner de manière adéquate dans des scénarios à avec d’exemples (de l’anglais few-shot), où seule une petite quantité de données malveillantes est disponible lors de l’entertainment de notre IDS. L’objectif de cette recherche est de proposer un IDS avionique basé sur la détection d’anomalies d’anomalies qui tire parti d’une architecture basée sur les Transformers et l’apprentissage par transfert. Nous présentons TRIPT-IDS, qui signifie "Triplet loss Pre-trained Transformer Intrusion Detection System" (Système de détection d’intrusion basé sur un modèle Transformer pré-entraîné à l’aide d’une fonction de coût par triplet). Cette approche innovante vise à améliorer les performances contre des attaques précédemment inconnues sur le protocole avionique MIL-STD-1553 et à améliorer la généralisation lors de l’entraînement sur un ensemble limité de données d’attaque en apprenant un espace latent significatif au cours d’une phase de pré-entraînement. Notre méthodologie commence par exploiter à la fois des ensembles de données nouvellement générés et disponibles publiquement à partir du logiciel OD1NF1ST, une interface MILSTD- 1553 à source ouverte utilisée pour générer des données de vol réalistes avec dix types d’attaques synthétiques injectées. Pour améliorer les performances de notre IDS, nous avons élaboré et validé des schémas d’encodage novateurs adaptés au protocole MIL-STD-1553. Ces schémas d’encodage permettent la conservation de méta-informations et s’alignent bien avec la capacité du modèle Transformer à utiliser des balises pour une extraction complète des informations sémantiques et d’arrangement de paquets des séquences. De plus, nous introduisons une nouvelle méthodologie d’évaluation pour les IDS avioniques qui tient compte de scénarios plus réalistes, notamment la circulation et les attaques précédemment inconnues, les scénarios de classification avec un ensemble limité de données et les expériences avec des attaques catégoriques inconnues. TRIPT-IDS est soumis à une analyse comparative directe avec l’IDS proposé en conjonction avec OD1NF1ST et une variante de notre architecture qui ne bénéficie d’aucune étape de pré-entraînement. Le premier ensemble d’expériences a testé notre IDS entrainé sur les dix MIL-STD-1553 types d’attaques. Fondamentalement, notre architecture TRIPT-IDS a présenté des résultats supérieurs par rapport à l’approche Bi-LSTM d’OD1NF1ST, avec une augmentation moyenne de 3,30% de l’indice F1. TRIPT-IDS a démontré une compétence remarquable dans le scénario de classification à faible tirage, où l’ensemble d’apprentissages ne contenait qu’environ 0,16% de données malveillantes. Il a surpassé notre variante non pré-entraînée de 16,9% en indice F1, atteignant un score de 94,5%. En revanche, le modèle Bi-LSTM n’a été en mesure de détecter aucune attaque. Cette capacité peut considérablement réduire l’effort et les coûts informatiques associés à la collecte de données, car seul un nombre limité de points de données est nécessaire. Le deuxième ensemble d’expériences évalue TRIPT-IDS dans plusieurs scénarios d’attaques inconnues. L’objectif de ces expériences est de déterminer dans quelle mesure notre approche peut généraliser les caractéristiques apprises pour détecter de nouvelles attaques ou des attaques inconnues. Cela est particulièrement crucial pour l’IDS avionique, car les véritables menaces cybernétiques n’auront probablement pas été vues lors de l’entrainement. Une fois de plus, TRIPT-IDS surpasse les autres IDSs, notamment dans notre expérience impliquant des attaques catégorielles non vues. Dans cette expérience, nous nous entraînons sur un petit ensemble d’attaques connues par catégorie et utilisons cette connaissance pour détecter de nouvelles attaques employant des tactiques similaires. Notamment, l’IDS OD1NF1ST s’est révélée incapable d’apprendre adéquatement la détection d’intrusion dans un tel scénario contraignant. Notre approche l’a surpassé par une moyenne de 4,17× en F1-Score par catégorie. En conclusion, notre recherche a démontré le potentiel des IDS basés sur les Transformers pour les systèmes avioniques, ainsi que l’amélioration des performances résultant d’une tâche de pré-entraînement visant à améliorer la représentation de l’espace latent du trafic. Dans le cadre de travaux futurs, TRIPT-IDS devra être intégré dans une structure pour une application en temps réel sur du matériel avionique et validé sur davantage de protocoles. De plus, diverses tâches de pré-entraînement pourraient être explorées pour capturer des informations sémantiques alternatives, ce qui pourrait améliorer les performances de TRIPT-IDS sur des attaques inconnues plus sophistiquées.

Abstract

The rapid evolution of cutting-edge technologies and their seamless integration into critical infrastructure, particularly within the avionics sector, has pushed the boundaries of what can be achieved. The incorporation of interconnected systems and wireless communication has brought about a transformative paradigm shift in modern aircraft, and this trend is poised to persist into the future. Regrettably, these remarkable advancements have also introduced vulnerabilities that were once considered impossible. Notably, specialized protocols like MIL-STD-1553 were established in a pre-cybersecurity era, rendering them ill-equipped to withstand modern cyber threats. The current landscape of cybersecurity in the avionics domain heavily relies on safety mechanisms rooted in antiquated protocols primarily designed to ensure communication reliability and determinism, complemented by the incorporation of obfuscation measures. While these protective measures do contribute to enhancing security to a certain extent, they do not provide absolute security. Given the current regulatory framework and the complex nature of retrofitting both existing and future avionics systems, ongoing research endeavours are heavily concentrated on developing solutions that can be seamlessly integrated as extensions such as Intrusion Detection System (IDS). This approach aims to promptly address the inherent vulnerabilities associated with these systems. Currently, state-of-the-art avionic IDS employ multifaceted modules to identify various threats, primarily employing Recurrent Neural Network-based and Auto-Encoder-based approaches. Some of these IDSs are trained exclusively on benign data but are limited in detecting subset of attacks. Conversely, those trained on labelled data are often untested against a combination of previously unseen attack vectors and flight data, and they may not perform adequately in few-shot scenarios, where only a small volume of malicious data is available during training. The objective of this research is to propose an avionic anomaly-based IDS that leverages a Transformer-based architecture and transfer learning. We introduce TRIPT-IDS, which stands for Triplet loss Pre-trained Transformer Intrusion Detection System. This innovative approach aims to enhance performance against previously unseen attacks on the MIL-STD- 1553 avionic protocol and improve generalization when trained on a limited set of attack data by learning a meaningful latent space during a pretraining phase. Our methodology commences by leveraging both newly generated and publicly available datasets from the OD1NF1ST software, an open-source MIL-STD-1553 interface used to generate realistic flight data with ten injected synthetic attack types. To enhance the performance IDS, we have devised and validated novel encoding schemes tailored for the MIL-STD- 1553 protocol. These encoding schemes permit the retention of additional meta-information and align well with the Transformer model’s capacity to utilize tags for comprehensive extraction of sequence’s semantic and packet arrangement information. Additionally, we introduce a new evaluation methodology for avionics IDS that accounts for more realistic scenarios, encompassing previously unseen traffic and attacks, few-shot classification scenarios, and categorical unseen attack experiments. TRIPT-IDS is subjected to direct comparative analysis against the IDS proposed in conjunction with OD1NF1ST and a variant of our architecture that does not undergo any pre-training steps. The first set of experiments tested our IDS trained on all ten MIL-STD-1553 attack types. Essentially, our TRIPT-IDS architecture exhibited superior results compared to the OD1NF1ST Bi-LSTM baseline, achieving an increase of 3.30% in F1-Score. TRIPT-IDS demonstrated remarkable competence in the few-shot classification scenario, where the training set contained only approximately 0.16% of malicious data. It outperformed our unpre-trained variant by 16.9% in F1-Score, achieving a 94.5%. In contrast, the Bi-LSTM baseline was unable to detect any attacks. This capability can substantially reduce the effort and computational costs associated with data collection, as only a limited number of data points are required. The second set of experiments evaluates TRIPT-IDS on multiple unseen attack scenarios. The goal of these experiments is to determine how well our approach can generalize learned characteristics to detect new or unseen attacks. This is especially crucial for an avionic IDS, as real cyber threat will most likely not have been seen during training. Once again, TRIPTIDS outperforms the other IDSs, particularly in our novel experiment involving categorical unseen attacks. In this experiment, we train on a small set of known attacks per category and utilize this knowledge to detect new attacks that employ similar tactics. Notably, the OD1NF1ST IDS proved unable to learn adequately intrusion detection in such scenario. Our approach outperformed it by an average of 4.17× in F1-Score per category. In conclusion, our research has demonstrated the potential of Transformer-based IDS for avionic systems, as well as the increased performance resulting from a pre-training task aimed at improving traffic embedding space representation. In future work, TRIPT-IDS will need to be integrated into a framework for real-time application on real aircraft hardware and validated on more avionic protocols. Additionally, various pre-training tasks could be explored to capture alternative semantic information, which may improve TRIPT-IDS’s performance on more sophisticated unseen attacks.