Méthodes d'apprentissage profond pour l'estimation de disparités d'une paire d'images multispectrale

Ce mémoire présente plusieurs nouvelles méthodes pour estimer la disparité des silhouettes humaines dans une scène à l'aide d'une paire d'images stéréoscopiques du spectre infrarouge thermique et du spectre couleur. Le défi ce problème est de faire correspondre des sous-régions d'images qui ne partagent pas la même information. En effet, le spectre infrarouge thermique et RGB ont quelques informations en commun, telles que les formes générales des silhouettes, mais la principale source d'information du spectre RGB est manquante dans les images infrarouges thermiques (LWIR), soit la couleur. Des méthodes ont été proposées dans des précédents travaux pour résoudre ce problème, mais nous voulons appliquer de connaissances plus récentes pour améliorer les résultats. Trois grandes idées forment notre méthodologie. La première idée a été d'ajouter les masques de segmentation aux sous-régions d'entrée de notre réseau. Le réseau va donc connaître le contexte de la sous-région pour la comparer à la sousrégion de l'autre spectre. Le réseau va donc savoir si la sous-région appartient à une instance ou non, et verra si une frontière est présente. La deuxième idée est de modifier l'architecture de l'extracteur de caractéristiques afin d'opter pour une solution plus moderne. Nous avons donc remplacer les deux RNCs du réseau pseudo-siamois par HRNet. HRNet est un extracteur de caractéristique gardant la même résolution tout au long de l'extraction des caractéristiques. Ceci permet donc d'avoir des cartes de caractéristiques avec le plus grand nombre de détails possible. Dans cette même idée, nous avons dû adapter le réseau HRNet étant donné que nous l'utilisons sur des entrées de 36×36, et que l'architecture est initialement faite pour des images de plus grande taille. Nous avons ensuite modifié la sortie de l'architecture HRNet, pour encore une fois garder le plus de caractéristiques possibles. La dernière idée apportée dans ce mémoire a été de combiner les deux premières idées ensemble pour introduire les masques dans le réseau HRNet. Les deux premières idées prises séparément ont donné de très bons résultats. Par contre, la combinaison des deux a donné des résultats peu concluants, mais il était bon de faire l'étude pour prouver l'efficacité des masques selon l'extracteur de caractéristiques. Pour l'ensemble des méthodes présentées, la tête du réseau reste inchangée. La tête qui est présentée est constituée de deux branches avec un fonctionnement identique. Il y a une branche de concaténation et une branche de corrélation. Le principe de ces branches est le suivant. L'opération de fusion est faite sur les deux vecteurs de caractéristiques sortant des extracteurs. Ensuite le vecteur résultant de cette opération de fusion est passé dans un réseau pleinement connecté qui déterminera l'estimation de disparité pour la branche donnée. L'estimation finale sera donnée par la moyenne de ces deux estimations de disparité. Avec ces méthodes, nous avons été capables de générer des résultats qui dépassent l'état de l'art.