Reinforcement Learning for Stair Climbing with Ascento: A Two-Wheeled Legged Robot

Ascento Robotics, une entreprise de sécurité, utilise un robot à roues et à pattes pour effectuer des patrouilles de sécurité dans de vastes espaces extérieurs. Actuellement, Ascento est capable de naviguer sur un terrain plat et est robuste face à de légers obstacles. Cependant, une limitation critique du système actuel est l’incapacité du robot à monter des escaliers, ce qui limite sa fonctionnalité dans les environnements à plusieurs étages. Ce mémoire propose une nouvelle méthode pour surmonter cette limitation, en utilisant l’Apprentissage par Renforcement (RL) pour apprendre un contrôleur en simulation. L’approche proposée adopte une formulation de tâche RL basée sur la position, en contraste avec les contrôleurs existants basés sur la vitesse. Elle exploite la structure asymétrique acteur-critique pour utiliser des informations privilégiées provenant du simulateur pendant l’entraînement, tout en éliminant le besoin d’avoir accès à ces données pendant le déploiement. Cette approche simplifie considérablement les exigences opérationnelles du robot, car elle ne repose sur aucune information de capteur extéroceptif. Une nouvelle observation booléenne introduite dans le contrôleur sert de mode d’escalade d’escalier pouvant être activé ou désactivé. Cette recherche présente également les résultats du processus de transfert de la simulation au monde réel, en utilisant des techniques telles que la randomisation de domaine, ainsi qu’une généralisation de la méthode présentée et son application à d’autres robots. Le contrôleur résultant, qui ne nécessite pas d’informations de capteur ni de système de positionnement externe, permet au robot de monter avec succès des marches de 15 cm, une tâche qui était auparavant impossible pour le robot Ascento. Cette avancée élargit le champs opérationnel du robot, améliorant son potentiel dans les applications de sécurité.