Exploring the Use of Neurophysiological Signals as a Design Material for Affective Data Visualisation, Somatic Interaction and Physicalization

Au cours de la dernière décennie, les mesures neurophysiologiques ont trouvé de nombreuses applications dans l'interaction humain-machine (IHM), pour la santé, le bien-être et la régulation des émotions. Ces mesures ont également été utilisées dans le milieu universitaire, et dans une moindre mesure dans l'industrie, pour mesurer les états affectifs et cognitifs des utilisateurs. Cependant, de nouveaux domaines de recherche, tels que les matériaux intelligents, les technologies autonomes, l'Internet des objets (IoT) et l'informatique ubiquitaire, modifient nos comportements et relations avec la technologie, notre environnement, notre corps et les uns avec les autres. Ces rapports nécessitent l’élaboration de nouveaux modèles, outils et méthodologies d'interaction intégrant les mouvements, les signaux neurophysiologiques et comportementaux dans une interaction fluide, s'éloignant ainsi des technologies passives. Exploiter les qualités temporelles des signaux neurophysiologiques pour adapter ces interactions en temps réel aux états émotionnels des utilisateurs pourrait nous permettre de créer des expériences plus fluides, inclusives et personnalisées, et de concevoir des produits et systèmes personnalisés et émotionnellement évocateurs. Par conséquent, cette thèse vise à fournir aux praticiens et aux chercheurs de nouveaux outils et approches facilitant l’utilisation des mesures données émotionnelles ressenties par les utilisateurs et interagir avec les mesures neurophysiologiques de manière inédite et concrète. L'objectif principal de ce projet de thèse est d'explorer l'utilisation des données neurophysiologiques comme matériau de design pour faciliter l'intégration de ces technologies en design d'IHM. Nous avons atteint cet objectif par la conception, le développement et l'évaluation de trois prototypes fonctionnels qui contribuent à l'étude de la matérialité des signaux neurophysiologiques et de la communication des émotions par le biais de modalités d'interaction visuelle, somatique et physique. Premièrement, nous présentons une méthode qui triangule les données GPS et neurophysiologiques pour créer des cartes émotionnelles, identifiant les zones où les utilisateurs ont ressenti des émotions spécifiques dans des environnements extérieurs ; deuxièmement, un nouvel outil de création haptique pour la communication affective de personne à personne basé sur la réplication en temps réel de l'activité psychophysiologique en utilisant le couplage d’actionneurs et de signaux neurophysiologiques ; et enfin, nous introduisons une nouvelle application Web pour soutenir la création d'objets et de produits émotionnellement façonnés basés sur le couplage en temps réel de caractéristiques neurophysiologiques corrélées à l'expérience émotionnelle et aux attributs des objets. Ces outils et les méthodes peuvent être utilisés à différentes étapes du processus de design, de l'idéation à l'évaluation, améliorant ainsi l'empathie, la compréhension et l'expérience utilisateur grâce à la conception. Chaque outil répond à des problématiques spécifiques liées à l'utilisation des signaux neurophysiologiques, notamment le manque d'outils de mesure robustes hors laboratoire et la prise en charge d’interactions affectives en temps réel, en plus de s'attaquer à la difficulté d'interprétation des signaux neurophysiologiques par la contextualisation des données. Nos résultats montrent que les trois modalités de représentation des données neurophysiologiques (visuelle, somatique et physique) peuvent représenter avec succès l'état émotionnel d'un utilisateur et, dans une moindre mesure, communiquer son état affectif à autrui. À travers la présentation de nos trois preuves de concept, nous mettons en évidence les opportunités croissantes liées à la représentation et partage de signaux neurophysiologiques dans des modalités tangibles, démontrons comment les données émotionnelles pourraient servir de matériau de conception malléable pour créer un large éventail d'interactions allant des expériences éphémères aux objets physiques, et illustrons les défis liés à l'intégration des signaux neurophysiologiques dans la conception d'IHM. La thèse suivante est présentée sous forme d’une thèse par articles. Un article ayant été soumis ou accepté dans une publication arbitrée et détaillant chaque outil du projet de recherche est présenté ci-dessous. Le consentement des coauteurs de chaque article a été obtenu afin de présenter ceux-ci dans le contexte de cette dissertation. De plus, le Comité d’Éthique en Recherche de Polytechnique a approuvé les collectes de données qui ont servi à produire ces articles.

Abstract

Human-computer interaction (HCI) designers, researchers, and practitioners have long recognized the benefits of leveraging user emotional information, responses and insights in their practices. However, new research areas such as smart materials, autonomous technologies, Internet of Things (IoT), and ubiquitous computing, are altering the ways in which we relate to our devices, our surroundings, our bodies, and each other. These new enhanced relationships require novel interaction models, tools and methodologies integrating movements, biodata, and nonverbal behaviours into one seamless interaction, moving away from passive technologies. Therefore, this thesis aims to provide practitioners and researchers with new tools and approaches to harness users’ felt emotions and engage with neurophysiological data in new, tangible ways. Through research by design, we explore the use of biodata as a design material through the design, development and evaluation of three functional prototypes which aim to confer materiality to neurophysiological signals using visual, somatic, and physical interaction modalities. First, we present a method which triangulates GPS and neurophysiological data to create emotional maps, outlining areas where users experienced specific emotions in outdoor environments; second, a novel haptic authoring tool for person-to-person affective communication based on the real-time replication of psychophysiological activity using haptic feedback and neurophysiological signals coupling; and finally, we introduce a new web-based application to support the creation of emotionally shaped objects and products based on the coupling of real-time neurophysiological features correlated with emotional experience and objects attributes. These tools and resulting methods can be used at various stages of the design process, from ideation to evaluation, enhancing empathy, understanding and user experience through design. Each tool addresses specific issues related to the use of neurophysiological signals, namely the lack of robust measurement tools outside of lab context and the support of real-time affective interactions, in addition to tackling the difficulty associated with the interpretation of neurophysiological signals though data contextualisation. Our results show that all three representation modalities of neurophysiological data (i.e., visual, somatic and physical) can successfully represent the emotional state a user is experiencing and, to a lesser degree, communicate his or her affective state to others. Through the presentation of our three proofs of concepts, we highlight the growing opportunities associated with the sharing of biosignals in tangible modalities, demonstrate how emotional data could be used as a malleable design material to create a diverse range of interactions ranging from ephemeral experiences to physical objects, and exemplify the challenges associated with the integration of neurophysiological signals in HCI design. The following thesis is presented in the form of a thesis by articles. A refereed article detailing each of the three tools of the research project is presented below. Consent was obtained from the co-authors of each article to present them in the context of this thesis. In addition, the Polytechnique Research Ethics Committee approved the data collections presented in each of these articles.