Visual Odometry System for Drones Assisted by a Deep Neural Network

L'utilisation de drones devient de plus en plus courante pour de nombreux secteurs industriels. Toutefois, certaines limitations techniques, comme la navigation dans des environnements dépourvus de signal GPS, peuvent constituer un obstacle à leur adoption. La recherche dans le domaine de l'odométrie visuelle évolue rapidement et pourrait apporter des solutions à ce type de problèmes. Les techniques actuelles d'odométrie visuelle sont généralement composées d'étapes permettant l'extraction et la recherche de points d'intérêts dans la séquence d'images ou la minimisation d'erreurs photométriques afin de reconstruire les matrices de transformation décrivant le mouvement du véhicule. Bien que populaires, les solutions actuelles peuvent souffrir d'une accumulation d'erreurs importantes et peuvent être coûteuses en termes de calcul. De nouvelles recherches utilisant des réseaux neuronaux profonds ont démontré des résultats prometteurs et pourraient éventuellement offrir des solutions aux lacunes existantes de ces techniques dites « géométriques ». Les techniques d'odométrie visuelle profonde actuelles combinent généralement des réseaux neuronaux convolutifs et des réseaux de neurones récurrents séquentiels afin de déduire l'odométrie visuelle d'une séquence vidéo donnée. L'objectif de ce projet de recherche est de développer un système intelligent capable d'estimer l'odométrie visuelle d'un drone en temps réel. Le système intelligent utilise une nouvelle architecture neuronale profonde appelée SelfAttentionVO pour estimer, à partir d'une séquence vidéo, le mouvement d'une caméra fixée à un véhicule. Un utilitaire d'inférence capture le flux vidéo diffusé par le véhicule et utilise les prédictions de SelfAttentionVO faite sur les images de la vidéo pour assembler une estimation complète de la trajectoire. Bien que le système ne soit pas actuellement optimisé pour fonctionner sur un ordinateur embarqué, l'utilitaire d'inférence peut être utilisé sur un ordinateur de bureau ordinaire, offrant ainsi une alternative viable. SelfAttentionVO a été entraîné sur les ensembles de données KITTI et Mid-Air en utilisant une fonction d'objectif basée sur l'erreur quadratique moyenne. L'architecture utilise un réseau neuronal convolutionnel, pour effectuer l'extraction de points d'intérêts dans l'image et utilise à la fois un réseau de type « long short-term memory » (LSTM) et un module d'attention multi-têtes pour modéliser les dépendances séquentielles de la vidéo.