Reinforcement Learning for Stair Climbing with Ascento: A Two-Wheeled Legged Robot

Ascento Robotics, une entreprise de sécurité, utilise un robot à roues et à pattes pour effectuer des patrouilles de sécurité dans de vastes espaces extérieurs. Actuellement, Ascento est capable de naviguer sur un terrain plat et est robuste face à de légers obstacles. Cependant, une limitation critique du système actuel est l’incapacité du robot à monter des escaliers, ce qui limite sa fonctionnalité dans les environnements à plusieurs étages. Ce mémoire propose une nouvelle méthode pour surmonter cette limitation, en utilisant l’Apprentissage par Renforcement (RL) pour apprendre un contrôleur en simulation. L’approche proposée adopte une formulation de tâche RL basée sur la position, en contraste avec les contrôleurs existants basés sur la vitesse. Elle exploite la structure asymétrique acteur-critique pour utiliser des informations privilégiées provenant du simulateur pendant l’entraînement, tout en éliminant le besoin d’avoir accès à ces données pendant le déploiement. Cette approche simplifie considérablement les exigences opérationnelles du robot, car elle ne repose sur aucune information de capteur extéroceptif. Une nouvelle observation booléenne introduite dans le contrôleur sert de mode d’escalade d’escalier pouvant être activé ou désactivé. Cette recherche présente également les résultats du processus de transfert de la simulation au monde réel, en utilisant des techniques telles que la randomisation de domaine, ainsi qu’une généralisation de la méthode présentée et son application à d’autres robots. Le contrôleur résultant, qui ne nécessite pas d’informations de capteur ni de système de positionnement externe, permet au robot de monter avec succès des marches de 15 cm, une tâche qui était auparavant impossible pour le robot Ascento. Cette avancée élargit le champs opérationnel du robot, améliorant son potentiel dans les applications de sécurité.

Abstract

Ascento Robotics, a security company, utilizes a wheeled-legged robot to do security patrols in large outdoor areas. Ascento currently has the capacity to navigate flat terrain and is robust to minor obstacles. However, one critical limitation of the current system is the robot’s inability to climb stairs, limiting its functionality in multi-story settings. This thesis proposes a novel method to overcome this limitation, employing Reinforcement Learning (RL) to train a controller in simulation. The proposed approach adopts a position-based RL task formulation, contrasting with the existing velocity-based control. It leverages the asymmetric actor-critic structure to utilize privileged information from the simulator during training while eliminating the need for this data during deployment. This approach significantly simplifies the operational requirements of the robot, since it does not rely on any exteroceptive sensor information. A new boolean observation introduced to the controller serves as a stairclimbing mode that can be activated or deactivated. This research also presents findings from the sim-to-real transfer process, using techniques such as domain randomization. The resultant controller, which does not require sensor information or a positioning system, successfully enables the robot to climb 15 cm steps, a task that was previously impossible for Ascento. This advancement broadens the operational terrain for the robot, enhancing its potential in security applications.