Évaluation d'un produit de sécurité par essai clinique

La prolifération des différentes menaces informatiques au cours des dernières années a eu pour conséquence d'augmenter la complexité des produits antivirus et de leur évaluation. Or, il est primordial de connaître la réelle efficacité des produits de sécurité afin de développer des solutions offrant une meilleure protection des systèmes informatiques face aux nouvelles menaces. Étant donné que la majorité des tests antivirus sont réalisés dans des environnements contrôlés, plusieurs facteurs ne peuvent être pris en considération tels que l'évolution des menaces, l'interaction de l'utilisateur ou les différentes configurations du système et de l'environnement informatique. Même les tests les plus avancés, qui incluent des profils usagers automatisés, ne peuvent représenter l'ensemble des comportements usagers et des variables qui affectent l'environnement informatique. fin d'évaluer les produits de sécurité dans un contexte qui soit représentatif de l'expé-rience usager, il convient de réaliser des études holistiques, c'est-à-dire des tests où le produit de sécurité, l'ordinateur et l'utilisateur sont considérés comme un tout. Nous proposons à cet effet une nouvelle méthode d'évaluation, basée sur les essais cliniques où les participants sont invités à utiliser un ordinateur dans leur contexte habituel. Nous présentons dans ce mémoire la première expérience du genre qui a impliqué la participation de 50 usagers durant quatre mois. Des données ont été collectées sur l'état de santé de l'ordinateur ainsi que sur le comportement des usagers afin de déterminer quel est impact de l'utilisateur sur le risque d'infection. Cette étude pilote a permis de calculer l'efficacité d'un antivirus et d'évaluer la perception qu'en ont eu les utilisateurs. Notre analyse nous a permis d'identifier des caractéristiques et des comportements usager qui exposent à un risque d'infection plus élevé. Alors que certains facteurs de risque identifiés par nos travaux peuvent sembler intuitifs, d'autres, comme le fait d'avoir un niveau élevé d'expertise en informatique, sont plus surprenants. Le présent mémoire a permis de valider la viabilité des essais cliniques appliqués à la sécurité informatique. Qui plus est, ce travail a démontré les mérites de réaliser des essais cliniques à grande échelle afin d'évaluer les performances réelles de différents produits, techniques ou stratégies de protection des systèmes informatiques.

Abstract

The ongoing growth of computer threats over the last years has increased the complexity of anti-virus products and their evaluation. However, in order to develop solutions that offer a better protection against evolving malware threats, it is important to know the true effectiveness of security products. Since most anti-virus evaluations are performed in controlled environments, many factors (such as evolving threats, user interaction or different system configurations) can not be taken into account. Even the most advanced tests, which include automated user profiles, can not represent adequately all user behavior and other variables affecting the environment. In order to evaluate security products in a representative way of user experience, holistic studies must be conducted. Such evaluations imply that the product to be tested, the computer and the user are considered as a whole. To that end, we propose a new evaluation method based on clinical trials, where participants are invited to use a computer in their usual context. This thesis presents the first experiment of that kind involving 50 participants over a 4-month period. Data have been collected on the health of the computers and on users' behavior to determine risk infection factors. This pilot study allowed to evaluate the efficacy of an anti-virus product and users' perception of the product. Data analysis identified users' characteristic and behavior that increase the risk of infection. While some of the risk factors identified by our work may seem intuitive, others, such as having a high level of expertise in computers, are more surprising. The current thesis has validated the viability of computer security clinical trials. More- over, this work has shown the merits of conducting long-term clinical trials to evaluate the real performance of different products, techniques and strategies to protect computer system.