Ajustement d'affichage stéréoscopique par évaluation du point de regard 3D dans un environnement virtuel

Ce projet de recherche se déroule au sein d'une voûte immersive de réalité virtuelle. Un tel environnement plonge l'observateur au cœur d'un monde généré par ordinateur et projeté sur 4 faces d'un cube d'environ 3 m de côté au milieu duquel il se tient. Néanmoins, l'affichage stéréoscopique provoque généralement de l'inconfort oculaire, voire de la fatigue visuelle. Le but poursuivi était d'améliorer l'expérience immersive en tâchant de diminuer la gêne visuelle ressentie, tout en rendant le monde plus réaliste et en renforçant le sentiment de présence. L'objectif fut donc défini de la manière suivante : concevoir et évaluer une méthode d'ajustement des paramètres de configuration du système de caméras, afin de trouver des valeurs optimales et vraisemblablement personnalisées pour chaque individu. Nos hypothèses soutenaient qu'ajuster ces valeurs en fonction de la position du point de regard permettrait de rendre la configuration plus performante. Des lunettes intégrant des caméras dirigées vers les yeux ont été utilisées comme système de suivi oculaire afin de calculer en temps réel le point de regard de l'observateur dans la scène. Cette donnée a ensuite servi à ajuster deux paramètres de la configuration du système de caméras : la distance séparant les deux caméras virtuelles utilisées pour obtenir le rendu stéréoscopique de la scène, et une profondeur de champ artificielle générée autour du point de regard. La connaissance de la position de ce dernier, et plus particulièrement des objets qui ont retenu l'attention de l'individu, fournit également des indices sur le traitement cognitif de l'information visuelle, c'est-à-dire la manière dont il a perçu et inspecté la scène. La première étape méthodologique a consisté à développer les outils qui permettent d'intégrer le système de suivi oculaire à la voûte de réalité virtuelle de l'Institut Philippe-Pinel de Montréal, de déterminer le point de regard grâce à une méthode de raycasting couplée à une procédure de calibration, et enfin de modifier les paramètres de la configuration en fonction. Subséquemment, une expérimentation a été conduite auprès de participants pour évaluer notre proposition par comparaison avec cinq autres configurations plus neutres ou classiques, intégrant un aspect éthique au projet. Les 6 configurations testées se différencient par la présence ou non d'un flou de profondeur de champ et la valeur de la distance inter-caméras (DIC) : fixe et choisie par le participant, fixe et correspondant à sa distance interpupillaire anatomique (DIP) ou variable en fonction de la position du point de regard. En dehors des méthodes de comparaison courantes répertoriées au cours de la revue de littérature, nous avons cherché une technique qui fournirait une vraie indication sur le comportement oculaire de l'observateur au cours d'une séance d'immersion. Pour cela, nous avons mis au point un test basé sur la reproduction d'une scène réelle en virtuel. Les 18 participants ont été recrutés sur la base du volontariat. Afin de limiter les risques de fatigue visuelle au cours de l'immersion, ceux-ci devaient être accoutumés à la réalité virtuelle et la stéréoscopie, c'est-à-dire avoir déjà joué à des jeux vidéos et assisté à des projections de films en 3D sans gêne. Ces participants ont dû effectuer différentes tâches, chacune associée à un objectif. Tout d'abord, ils devaient naviguer dans un environnement virtuel riche – un appartement comportant de nombreux objets – successivement avec les différentes configurations, et noter chacune selon le confort ressenti, le réalisme du rendu, le plaisir de navigation, la perception des distances et des profondeurs, et enfin le sentiment de présence dans le monde virtuel. Ils durent par la suite déterminer leurs limites de fusion en approchant ou reculant un objet virtuel. Celles-ci constituent une comparaison objective d'efficacité du rendu entre les différentes configurations, la diplopie générée par des difficultés de fusion des images stéréoscopiques étant l'une des sources principales d'inconfort. Finalement, les participants devaient suivre les déplacements d'un robot à la fois dans une scène réelle et dans sa reproduction la plus fidèle possible en virtuel. Les angles de vergence oculaire et les écarts angulaires à une cible disposée sur le robot constituent les indices de comparaison. La différence de variations de ces angles entre cas virtuels et réel permet de déterminer avec quelle configuration la position de l'objet, en particulier en profondeur, est rendue de la façon la plus réaliste. Les analyses statistiques et quantitatives réalisées sur les résultats de cette expérimentation permettent de mettre en lumière les effets des paramètres testés. Concernant la distance inter-caméras, il apparaît tout d'abord qu'une DIC variable ou correspondant à la DIP est significativement plus performante que la DIC fixe en ce qui concerne les limites de fusion stéréoscopique atteintes et la correspondance des mouvements oculaires entre réel et virtuel. La distance interpupillaire anatomique conduit quant à elle à des notations subjectives plus élevées, bien que la différence avec les autres valeurs pour ce paramètre ne soit pas significative. Enfin, notre proposition de DIC variable en fonction du point de regard conduit à des comportements oculaires plus réalistes en considérant le nombre de participants ayant obtenu le résultat le plus proche du réel avec cette valeur de paramètre. C'est en revanche la DIP qui obtient les meilleures moyennes pour ce test. En ce qui concerne le flou de profondeur de champ, les analyses révèlent que sa présence n'impacte pas significativement la capacité de fusion ou la similitude de comportement oculaire entre réel et virtuel. Elle s'est en revanche révélée significativement négative pour les notes attribuées dans le critère subjectif de perception des distances et des profondeurs, et a également influé sur l'inspection visuelle en augmentant de manière significative la durée moyenne des fixations et saccades. L'étude des résultats établit donc que nos propositions d'ajustement des paramètres n'ont pas amélioré significativement les performances du système de caméras et incite globalement à choisir une configuration dépourvue de flou et utilisant la distance interpupillaire anatomique. Cependant, si cette expérimentation n'a pas permis de valider nos hypothèses, elle ne les a pas non plus infirmées car certaines limitations techniques rencontrées ont plus que probablement eu une influence négative. En effet, des problèmes d'affichage intervenus en cours d'expérimentation ainsi qu'un faible nombre d'images générées par seconde, notamment en présence de flou de profondeur de champ, ont selon nous introduit des biais et conduit à des résultats qui ne sont pas imputables aux seules configurations. Nous suggérons en particulier de résoudre ces problèmes et de s'assurer, en le mesurant, que le temps de latence de mise à jour de l'affichage en fonction du point de regard n'est pas gênant pour le participant. Une seconde expérimentation permettra alors plus sûrement de conclure quant au potentiel des ajustements testés au cours de ce projet. Cette recherche a dans un premier temps consisté à intégrer un système de suivi oculaire à la voûte de réalité virtuelle de l'Institut Philippe-Pinel de Montréal. Les applications à court terme comprennent donc la possibilité pour les cliniciens de cet institut de connaître en temps réel le point de regard de l'observateur, et ainsi l'objet de son attention, avec une bonne précision. Grâce à la procédure de calibration mise en place, la mesure d'imprécision fut réduite à 2,65 cm au cours des tests préliminaires et à 6,47 cm en moyenne sur l'ensemble des participants pour des cibles situées à 2 m, soit 0,76° et 1,85° d'angle visuel. Les outils d'analyse des résultats développés, extrayant des données statistiques ou des représentations graphiques du signal visuel, leur serviront également au moment de l'interprétation des comportements oculaires en matière d'attention. Dans un second temps, nous avons conçu au cours de ce projet un cadre méthodologique novateur de comparaison des configurations stéréoscopiques. En effet, notre test utilisant la reproduction virtuelle d'une scène réelle et l'étude des mouvements de vergence pourra être employé dans d'autres recherches afin de mesurer efficacement la performance du rendu de la géométrie – positions, profondeurs, distances relatives et tailles – d'un environnement réel. Une seconde expérimentation réalisée après avoir effectué certaines corrections au niveau de l'installation de la voûte et de l'implémentation pourrait également révéler le potentiel réel de nos propositions d'ajustement. Enfin, il est important de noter que dans le contexte d'application de la réalité virtuelle à la psychiatrie légale, toute amélioration de la configuration du système de caméras ou du système d'affichage permet d'augmenter ses potentiels de diagnostic et de traitement, en renforçant le sentiment de présence des patients et en rapprochant les comportements exprimés au sein de la voûte de ceux dont ils feraient preuve dans le monde réel. L'intérêt est alors de valider l'utilisation d'environnements et d'avatars virtuels en lieu et place de personnes réelles, ce qui offre la possibilité de mettre en scène des situations davantage personnalisées, contrôlées et éthiquement acceptables. En mettant en lumière la configuration qui parmi les 6 testées et dans l'installation actuelle de la voûte est la plus confortable, la plus immersive et conduit en moyenne à un comportement oculaire plus naturel, notre projet permet aux cliniciens d'exploiter davantage les capacités de la réalité virtuelle.