Développement d'un système en réalité augmentée d'assistance aux opérateurs de machinerie lourde dans une cour à bois

De nos jours, la Réalité augmentée (RA) prend une place de plus en plus prépondérante dans l'industrie en fournissant de l'assistance contextuelle à un niveau jamais atteint précédemment. En particulier, dans le domaine de la foresterie, les cours à bois sont des zones de stockage de paquets de bois, où évoluent des engins de machinerie lourde réalisant la manutention. Dans notre étude, on s'attache à développer une application en RA capable d'assister les opérateurs des machines évoluant dans la cour. On utilise pour cela le visiocasque HoloLens de Microsoft. Ce visiocasque possède un dispositif interne pour mesurer sa position basé sur une centrale inertielle et des caméras analysant l'environnement. Mais nos tests ont montré que ce dispositif était incapable de fournir une position fiable à l'intérieur d'un véhicule en mouvement. En conséquence nous avons conçu un système capable de mesurer la position et l'orientation d'un visiocasque à l'intérieur d'un véhicule évoluant en extérieur avec la précision requise pour obtenir une qualité d'expérience satisfaisante en RA. Nous n'avons pas pu mettre en pratique ce système car nous n'avions pas accès au matériel haute précision nécessaire. Nous avons cependant développé un prototype applicatif fonctionnant en intérieur en utilisant les informations du système de positionnement embarqué de l'HoloLens afin de mettre en pratique et valider les solutions de design d'interface que nous avons conçues. En parallèle, nous avons aussi mené une réflexion pour déterminer comment instrumenter les chargeurs à fourche servant à la manutention dans la cour à bois afin qu'ils puissent s'interfacer avec le reste du système d'assistance aux opérateurs. La manutention dans une cour à bois étant rarement la tâche d'un seul chargeur, nous avons ainsi conçu et mis en pratique une architecture réseau permettant d'interconnecter tous les chargeurs instrumentés de la cour avec un serveur d'inventaire qui était développé en parallèle avec notre étude. De plus, nous nous sommes assurés de la robustesse du système face à des connexions instables telles que rencontrées en utilisant des liens sans-fil à bord de véhicules en mouvement. Nous avons donc conçu un système complet d'assistance en RA aux opérateurs de machinerie lourde dans une cour à bois, et nous en avons mis en pratique l'interface ainsi que l'ensemble de l'architecture réseautique.

Abstract

Nowadays, augmented reality (AR) has taken a central role in industrial settings by providing contextual help at a level never reached before. For example, in the domain of forestry, timber yards are storage areas for wood stacks. In these yards, one can find heavy equipment tasked with handling material. In our study, we aim to develop an AR application that can assist the operators working in the timber yard. For this purpose, we elected to use the HoloLens head-mounted display (HMD) sold by Microsoft. The HMD has an embedded positioning device that uses an inertial measurement unit (IMU) and environment sensing cameras. However, our results showed this device is not able to provide a reliable position when used inside a moving vehicle. Thus we designed an attitude measurement system able to locate and give the orientation of an HMD sitting inside a vehicle driving outdoors, with enough precision to provide a satisfying experience in AR. However, we were not able to fully implement this system due to lacking access the high performance equipment required. Nonetheless, we developed an application prototype designed to work indoors using the embedded HoloLens positioning system. We did so in order to implement and validate the user interface we designed. We also lead a reflection in parallel, to determine a way to instrument the fork-loaders used for handling in the timber yard. That way, they would be able to interface with the rest of the operator assistance system. Handling in a timber yard is rarely – if ever – a one-loader task. Thus we designed and implemented a network architecture allowing for connections between the instrumented loaders and an inventory server that was developed in parallel of our project. Moreover, we made sure the system was robust against unstable connections, as those can be common when using a wireless link in a moving vehicle. In summary, we designed an entire system to assist heavy equipment operators in a timber yard, and we implemented the interface and user experience, as well as the whole network architecture.