QRNN-ASNN-CEM/PF: A Sample Efficient Model Predictive Control Method In Model Based Reinforcement Learning for Modeling, Control, and Planning in Robotics

L’apprentissage par renforcement utilisant un modèle (MBRL) résout généralement de manière plus efficace des problèmes que l’apprentissage par renforcement sans modèle (MFRL). La commande prédictive (MPC), qui peut être formulée comme un algorithme de MBRL, peut être utilisé pour résoudre des problèmes où l’agent à pour but d’atteindre une position précise. Nous proposons la méthode QRNN-ASNN-CEM/PF pour modéliser, résoudre et planifier des problèmes de contrôle et de robotique avec des actions continues ou discrètes. L’algorithme proposé utilise un réseau de neurones quantile (QRNN) comme un modèle de l’environnement qui prédit une distribution sur les prochains états. De plus, la méthode utilise un réseau de neurones pour générer des actions (ASNN) au lieu d’échantillonner une distribution uniforme, et soit le filtrage particulaire (PF) ou la méthode de l’entropie croisée (CEM) pour optimiser les séquences d’actions dans MPC. Nous comparons QRNN-ASNNCEM/ PF à plusieurs algorithmes qui sont ablations de la méthode proposée, ainsi qu’à de méthodes provenant de la littérature du MBRL, MFRL et de l’optimisation de trajectoire.