A Search-Based Framework for Automatic Generation of Testing Environments for Cyber-Physical Systems

De nombreux systèmes cyber-physiques modernes intègrent des technologies de vision par ordinateur, des capteurs complexes, et des logiciels de contrôle avancés, leur permettant d'interagir de manière autonome avec l'environnement. Les exemples incluent les essaims de drones, les véhicules autonomes, les robots autonomes, etc. Tester de tels systèmes pose de nombreux défis : non seulement les entrées du système doivent être variées, mais également l'environnement doit être pris en compte. De nombreux outils ont été développés pour tester les modèles de tels systèmes pour les entrées possibles falsifiant leurs exigences. Cependant, ils ne sont pas directement applicables aux systèmes cyber-physiques autonomes, car les entrées pour de tels systèmes sont générées à partir d'environnements virtuels. Dans ce travail, nous proposons AmbieGen, un cadriciel pour la generation de scénarios de test défiant, pour les systèmes cyber-physiques autonomes. Les scénarios représentent un environnement dans lequel un agent autonome navigue. Ce cadriciel est applicable à la génération de différents types d'environnements. Pour générer les scénarios de test, nous utilisons l'algorithme NSGA-II avec deux objectifs. Le premier objectif évalue l'écart du comportement du système observé par rapport à son comportement attendu. Le deuxième objectif vise a maximiser la diversité des cas de test, calculée comme une distance de Jaccard avec un cas de test de référence. Pour guider le premier objectif, nous utilisons un modèle de système simplifié plutôt que le modèle complet. Le modèle complet est utilisé pour exécuter le système dans un environnement de simulation et peut prendre un temps considérable à exécuter (plusieurs minutes pour un scénario). Le modèle de système simplifié est dérivé du modèle complet et peut être utilisé pour obtenir une approximation des résultats à partir du modèle complet sans exécuter la simulation.

Abstract

Many modern cyber-physical systems incorporate computer vision technologies, complex sen- sors and advanced control software, allowing them to interact with the environment autonomously. Examples include drone swarms, self-driving vehicles, autonomous robots, etc. Testing such systems poses numerous challenges: not only should the system inputs be varied, but also the surrounding environment should be accounted for. A number of tools have been developed to test the system model for the possible inputs falsifying its requirements. How- ever, they are not directly applicable to autonomous and vision based cyber-physical systems, as the inputs to their models are generated while operating in a virtual environment. In this work, we aim to design a search-based framework, named AmbieGen, for generating diverse fault-revealing test scenarios for vision-based and autonomous cyber-physical systems. The scenarios represent an environment in which an autonomous agent navigates. The framework is applicable to generating different types of environments.To generate the test scenarios, we leverage the NSGA-II algorithm with two objectives. The first objective evaluates the deviation of the observed system's behaviour from its expected behaviour. The second objective is maximization of the test case diversity, calculated as a Jaccard distance with a reference test case. To guide the first objective we are using a simplified system model rather than the full model. The full model is used to run the system in the simulation environment and can take substantial time to execute (several minutes for one scenario). The simplified system model is derived from the full model and can be used to get an approximation of the results obtained from the full model without running the simulation.