<  Retour au portail Polytechnique Montréal

Traitement et analyse d'images stéréoscopiques avec les approches du calcul générique sur un processeur graphique

Ling Yun Ma

Mémoire de maîtrise (2012)

Document en libre accès dans PolyPublie
[img]
Affichage préliminaire
Libre accès au plein texte de ce document
Conditions d'utilisation: Tous droits réservés
Télécharger (3MB)
Afficher le résumé
Cacher le résumé

Résumé

Étant donné une paire d'images stéréoscopiques, il est possible de calculer une carte de disparité dense qui encode les correspondances par pixel entre deux vues d'une même scène. Étant donné les paramètres de calibration d'une paire d'appareils photo, il est possible de transformer une carte de disparités en une carte de profondeur. Il existe de nombreuses applications allant de la robotique et de l'interaction humain-machine à la photographie 3D qui peuvent bénéficier de l'utilisation de cartes de disparité précises. Nous nous intéressons à la production de cartes de disparité de haute qualité à partir d'images stéréo pour des applications à temps réel ou dans un ordre de grandeur de temps réel par rapport au nombre d'images par seconde pour des vidéos typiques si un traitement hors ligne est acceptable. Nous avons donc étudié de possibilités d'accélérer de divers calculs clés nécessaires pour produire des cartes de disparité à partir d'images stéréoscopiques. Tout d'abord, nous explorons le potentiel de détecter les disparités incompatibles avec un calcul rapide sur les images en basse définition et d'une vérification de consistance basée sur la comparaison entre une paire de cartes de disparité de gauche à droite et de droite à gauche. L'idée est que les disparités incompatibles sont susceptibles de contenir des erreurs. Puis nous évaluons le potentiel d'appliquer de calculs sélectifs en employant les images stéréoscopiques de plus haute définition afin de réduire les erreurs tout en évitant de calculs coûteux sur les images stéréoscopiques en plus haute définition tout entières. Nous avons aussi introduit une méthode d'interpolation simple et rapide qui est capable d'améliorer la qualité d'une carte de disparité si la densité de pixels consistants est élevée. Des travaux récents ont montré que la qualité d'une carte de disparité peut être améliorée en combinant différentes mesures de distance. Nous explorons une fonction de combinaison simple pour la somme des différences au carré et les distances de Hamming entre les blocs d'image représentés par la transformation Census. Nous montrons que cette technique de combinaison peut produire d'améliorations significatives quant à la qualité de carte de disparité. Nous explorons aussi des approches fondées sur la combinaison des deux mesures et la combinaison d'utilisation d'imageries en haute et basse résolutions de manière sélective. Nous montrons aussi comment l'essence de méthodes populaires et d'état de l'art d'inférence semi-globale peut être formulée en utilisant des modèles de Markov cachés. Cela nous permet de généraliser les approches semi-globales à des modèles plus sophistiqués tout en ouvrant la porte aux paramètres des modèles d'apprentissage en utilisant des techniques du maximum de vraisemblance. Pour accélérer les calculs, normalement nous avons employé le calcul générique sur un processeur graphique (GPGPU). En particulier, nous avons implémenté en OpenCL une variation de la mise en correspondance par bloc basée sur la somme des différences au carré et présenté une version corrigée de l'implémentation de l'algorithme Viterbi en OpenCL qui était fournie dans un kit de développement logiciel de GPU.

Abstract

Given a pair of stereo images it is possible to compute a dense disparity map which encodes the per pixel correspondences between views. Given calibrated cameras it is possible to transform a disparity map into a depth map. There are many applications ranging from robotics and human computer interaction to 3D photography that benefit from the use of precise disparity maps. We are interested in producing high quality disparity maps from stereo imagery as quickly as possible for real-time applications or within an order of magnitude of real-time for typical video rates for applications where off-line processing is acceptable. We therefore explore the problem of accelerating various key computations needed to produce disparity maps from stereo imagery. First, we explore the potential of detecting inconsistent disparities with fast but low resolution comparisons and a consistency check based on comparing left to right and right to left disparity maps. The idea is that inconsistent disparities are likely to contain errors. We then evaluate the potential of selectively applying computation using higher resolution imagery in order to reduce errors while avoiding expensive computations over the entire high resolution image. We also introduce a simple and fast interpolation method that is capable of improving the quality of a disparity map if the density of consistent pixels is high. Recent work has shown that disparity map quality can be also be improved by combining different distance metrics. We explore a simple combination function for sum of squared difference and Hamming distances between image blocks represented using the Census transform. We show that this combination technique can produce significant improvements in disparity map quality. We also explore approaches based on both combining metrics and selectively combining high and low resolution imagery. We also show how the essence of popular, state of the art semi-global inference methods can be formulated using hidden Markov models. This allows us to generalize semi-global approaches to more sophisticated models while also opening the door to learning model parameters using maximum likelihood techniques. To accelerate computations generally we use general purpose graphical processing unit (GPGPU) computing. In particular, we have implemented a variation of sum of squared difference block matching in OpenCL and present a corrected version of an OpenCL Viterbi algorithm implementation that was provided in a GPU software development kit.

Département: Département de génie informatique et génie logiciel
Programme: Génie informatique
Directeurs ou directrices: Christopher J. Pal
URL de PolyPublie: https://publications.polymtl.ca/806/
Université/École: École Polytechnique de Montréal
Date du dépôt: 05 juin 2012 08:49
Dernière modification: 09 nov. 2022 09:47
Citer en APA 7: Ma, L. Y. (2012). Traitement et analyse d'images stéréoscopiques avec les approches du calcul générique sur un processeur graphique [Mémoire de maîtrise, École Polytechnique de Montréal]. PolyPublie. https://publications.polymtl.ca/806/

Statistiques

Total des téléchargements à partir de PolyPublie

Téléchargements par année

Provenance des téléchargements

Actions réservées au personnel

Afficher document Afficher document