Elastic Time Step Reinforcement Learning

Les avancées en intelligence artificielle et en technologie de la robotique ont accéléré l’intégration de l’apprentissage par renforcement (RL) en robotique, permettant aux systèmes d’accomplir des tâches complexes dans des environnements difficiles avec une efficacité et une sécurité accrues. Les méthodes RL traditionnelles utilisent des fréquences de contrôle fixes, ce qui entraîne une utilisation inefficace des ressources informatiques. Par exemple, dans la conduite autonome sur des routes dégagées, des mises à jour fréquentes du contrôle sont inutiles, mais des fréquences fixes imposent des demandes informatiques constantes, entravant le déploiement de RL sur des ordinateurs embarqués aux ressources limitées. Cette inefficacité impacte également les fonctions de détection environnementale et de communication. Des fréquences de contrôle sous-optimales peuvent dégrader les performances, provoquant des réactions lentes aux changements ou un gaspillage de ressources par des actions excessives, entraînant une consommation d’énergie plus élevée et des échecs potentiels dans les applications sensibles au temps. Par conséquent, l’optimisation des fréquences de contrôle est cruciale pour les modèles RL dans des environnements complexes. Pour relever ces défis, nous proposons le cadre d’apprentissage par renforcement à pas de temps variable (VTS-RL), qui ajuste dynamiquement la fréquence de contrôle en fonction des exigences de la tâche. Cette approche réduit l’utilisation des ressources informatiques et garantit que les actions se produisent uniquement lorsque cela est nécessaire. La mise en oeuvre et l’évaluation de VTS-RL dans les systèmes robotiques sont difficiles en raison du manque de cadres spécifiques et d’implémentations de référence, car les processus de décision de Markov traditionnels (MDP) ne tiennent pas compte des intervalles de temps entre les actions, ce qui limite la recherche dans ce domaine. Nous introduisons deux algorithmes : Soft Elastic Actor-Critic (SEAC) et Multi-Objective Soft Elastic Actor-Critic (MOSEAC). SEAC améliore sa politique d’action en intégrant la durée des actions et en utilisant une politique de récompense novatrice pour minimiser la consommation d’énergie et le temps. Cette approche établit VTS-RL dans les systèmes robotiques, améliorant l’attribution de crédit et réduisant les frais généraux informatiques, ce qui le rend adapté aux déploiements à ressources limitées. Les tests de simulation valident l’efficacité de SEAC, démontrant des performances élevées et une charge informatique réduite par rapport à d’autres algorithmes RL à fréquence de contrôle fixe. MOSEAC, une version améliorée de SEAC, offre des vitesses d’entraînement plus rapides et une simplification du réglage des hyperparamètres tout en suivant les principes de la programmation réactive pour minimiser la consommation d’énergie et le temps. Il présente un schéma de récomvii pense adaptatif. Nous validons théoriquement son efficacité avec des garanties de performance, des analyses de convergence et de complexité. La formule de récompense adaptative équilibre l’efficacité énergétique et le temps d’accomplissement des tâches, explorant le front de Pareto en optimisation multi-objectif pour trouver des compromis optimaux. Les expériences avec Trackmania, un jeu de course vidéo, et AgileX Limo dans un environnement de test en intérieur démontrent l’efficacité de notre cadre à réduire les besoins informatiques. Enfin, nous passons en revue les caractéristiques clés, discutons des limitations et suggérons des directions de recherche futures.