A Computer Vision-Based Automatic Transcription of Guitar Music from RGBD Videos

La musique est un art d'expression auditive, beaucoup de musiciens écoutent et jouent de la musique. Ces derniers partagent leurs musiques en forme écrite (notation) grâce à la transcription. Plusieurs notations existent, comme la notation musicale standard (la portée) et les tablatures de la guitare. La transcription ou l'écriture d'une pièce musicale en cours de composition est faite généralement à la main, toutefois le processus est long, fastidieux et prone aux erreurs. Pour cela, plusieurs travaux ont porté sur l'automatisation de cette tâche. Les approches proposées utilisent la vision par ordinateur, le traitement du signal audio ou bien une combinaison des deux. Dans ce travail, nous nous intéressons à un instrument en particulier, commun et utilisé presque partout aujourd'hui, la guitare. Pour partager des pièces musicales destinées à être jouées sur une guitare, les guitaristes peuvent utiliser la tablature ou bien la notation standard. Cette dernière est plus généraliste (c'est-à-dire peut être utilisée par des instruments différents) et se concentre sur la note et la durée de cette dernière. Hors, dans le cas de la guitare, une même note peut etre jouée sur différentes cordes et frettes de la guitare. Ainsi, la tablature offre une notation plus directe puisqu'elle indique exactement la corde à gratter et la frette à presser. Ces informations sont absentes dans la notation musicale standard. Puisque le traitement par audio nécessite une connaissance a priori sur le réglage des cordes ainsi que leurs timbres, en plus de ne pas pouvoir savoir la frette et la corde jouée sans savoir les timbres des cordes, une approche basée sur le traitement du signal audio semble complexe. Par conséquent, dans ce travail, nous proposons une méthode de transcription se basant uniquement sur des vidéos. Dans l'objectif de développer un système de transcription automatique basée sur la vision par ordinateur, nous avons utilisé une camera RGBD de grade commercial, qui offre à la fois des trames RGB ainsi que des cartes de profondeur. Les trames RGB sont utilisées pour la segmentation de la guitare, l'estimation de la pose de la main, le calcul du flux optique et le post-traitement; tandis que les cartes de profondeur sont utilisées pour l'estimation de la pose de la main et le post-traitement. Dans le but d'entrainer un modèle d'apprentissage profond pour la segmentation automatique du manche de la guitare dans les trames RGB, nous commençons par construire notre propre base de données.