Protocole pour la création d'une base de données multimodale d'estimation de pose 3D d'enfants en salle de soins intensifs

Nous présentons les fondations du projet PICUPE, qui vise à intégrer un algorithme d'estimation de pose humaine dans les salles de soins intensifs du CHU Sainte Justine (CHUSJ). Pour cela, nous souhaitons filmer les patients avec deux caméras - une caméra de profondeur et une caméra thermique - placées au dessus de leur lit, et utiliser un réseau de neurones sur les images obtenues. Devant le manque de bases de données spécifiques pour entraîner notre réseau, nous proposons un protocole d'acquisition afin de créer notre propre base mutimodale au CHUSJ. Nous développons pour cela un système stéréo de deux caméras synchronisées temporellement, qui permet de faire l'acquisition de séquences vidéo à 29 images par seconde. Afin d'automatiquement générer la pose du sujet dans chaque image, nous combinons l'information de capteurs inertiels placés sur les membres du sujet avec un modèle musculosquelettique de la librairie OpenSim. Approuvé par le comité d'éthique du CHUSJ, notre protocole a pu être testé sur un patient 0. Notre base de données n'attend plus qu'à être populée.

Abstract

We introduce the foundations of the PICUPE project, which works towards integrating Human Pose Estimation algorithms in CHU Sainte Justine's (CHUSJ) Intensive Care Unit. To do so, we aim to film patients with two cameras - a depth camera and an infrared camera - placed above their bed, and use a neural network on the retrieved images. Given the lack of specific databases to train our network, we introduce an acquisition protocol to create our own dataset at CHUSJ. We develop a stereo system of two time-synchronized cameras, which allows the recording of video sequences at 29 Frames Per Second. In order to automatically generate the subject's pose in each frame, we combine information from Inertial Measurement Units placed on the subject's limbs with a musculoskeletal model from the OpenSim library. Approved by the CHUSJ ethics committee, our protocol has been tested on a patient 0. Our database is now waiting to be populated.