Algorithmic and Tacit Coordination Among Artificial Learners

Un enjeu central dans l’étude des systèmes multi-agents est de comprendre comment des agents égoïstes peuvent collaborer et manifester une intelligence collective afin de maximiser leur bien-être. Cette problématique est particulièrement pertinente dans des scénarios où il existe une tension entre les intérêts individuels et le bien commun. La théorie des jeux offre un cadre solide pour étudier la coordination tacite parmi des agents artificiels dans des contextes non coopératifs. Cette thèse se penche sur les dynamiques complexes menant des équilibres de Nash non Pareto-optimaux vers des stratégies Pareto-optimales, dans le cadre d’un jeu de coordination. Elle s’appuie sur trois études détaillées, chacune explorant des défis et opportunités uniques dans les simulations multi-agents et l’émergence de comportements algorithmiques.Premièrement, nous introduisons un méta-algorithme pour générer des données synthétiques réalistes d’enchères multi-niveaux. Pour relever les défis posés par la nature à haute car-dinalité, multi-niveaux et discrète de ces structures, nous avons recours à une approche d’apprentissage profond hiérarchique basée sur les réseaux antagonistes génératifs et BidNet, un modèle prédictif des distributions d’offres conditionnelles fondé sur des caractéristiques sous-jacentes. Cette avancée facilite le développement et le test de modèles à grande échelle pour des simulations multi-gents. Deuxièmement, nous présentons le Jeu de Markov à Prix Minimum (MPMG), qui, dans des conditions homogènes, étend le Dilemme du Prisonnier à un jeu stochastique. Le MPMG est ensuite peuplé d’agents d’apprentissage par renforcement multi-agents (MARL) afin d’examiner la robustesse de la règle de prix minimum face à la collusion en l’absence de coordination explicite. Nos résultats montrent que les agents non informés parviennent plus facilement à des résultats Pareto-optimaux que leurs homologues plus sophistiqués, ce qui suggère que la coordination tacite, ou collusion tacite, peut émerger de manière accidentelle dans de tels contextes. Enfin, nous proposons le Gradient de Politique d’Équilibre Stratégique (SEPG), une méthode MARL visant à favoriser la coordination tacite dans des environnements non coopératifs sans recours à des mécanismes de communication explicites. Le SEPG, un algorithme acteur-critique basé sur le gradient de politique, combine planification et apprentissage adaptatif en ligne, permettant aux agents de converger vers des stratégies Pareto-optimales dans le MPMG. Nous démontrons que les agents SEPG peuvent atteindre une collusion tout en adoptant des comportements rationnels.