Reward Shaping in Reinforcement Learning with Constraint Programming

Le façonnage de la récompense est une technique utilisée en apprentissage par renforcement pour modifier le comportement de l’agent en donnant des récompenses à des comportements désirables. Cette technique est aussi utilisée pour accélérer l’entraînement de l’agent en guidant l’agent dans la bonne direction pendant l’entraînement. Par contre, il est typique que la récompense soit façonnée manuellement à l’aide des experts humains qui peuvent identifier des comportements désirables. Nous proposons un façonnage de la récompense basé sur le potentiel qui sert à automatiser le façonnage de récompense à partir d’un modèle du problème en programmation par contraintes. En utilisant notre méthode, nous pouvons spécifier des comportements désirables à partir de l’interface de programmation par contraintes et l’utiliser pour peaufiner un réseau de neurones génératif préentraîné.