A Class of Networked Multi-Agent Control Systems: Interference Induced Games, Filtering, Nash Equilibria

Nous considérons une classe de systèmes de contrôle stochastiques linéaires scalaires en réseau dans lesquels un grand nombre d'agents contrôlés envoient leurs états à un concentrateur central qui, à son tour, envoie des commandes de contrôle silencieuses basées sur ses observations et vise à minimiser un coût quadratique donné. La technologie de communication est l'accès multiple par répartition en code (CDMA) et, par conséquent, les signaux reçus sur le concentrateur central sont corrompus par des interférences. Les niveaux des signaux envoyés par les agents sont considérés proportionnels à leur état, et le traitement des signaux basés sur le CDMA réduit l'interférence d'autres agents d'un facteur de 1/N où N est le nombre d'agents. L'interférence existante crée par inadvertance une situation de jeu dans laquelle les actions d'un agent affectent son état et donc par interférence, la capacité d'autres agents à estimer les leurs, influençant à leur tour leur capacité à contrôler leur état. Ceci conduit à des problèmes d'estimation fortement couplés. Cela conduit également à une situation de contrôle dual puisque les contrôles individuels contrôlent l'état mais affectent également le potentiel d'estimation de cet état. La thèse comporte trois parties principales. Dans la première partie, nous montrons que le fait d'ignorer le terme d'interférence et d'utiliser un principe de séparation pour le contrôle mène à des équilibres de Nash asymptotiques en N, pourvu que la dynamique individuelle soit stable ou “pas excessivement” instable. Que pour certaines classes de coût et de paramètres dynamiques, les lois de contrôle séparées optimales obtenues en ignorant le couplage interférentiel, sont asymptotiquement optimales lorsque le nombre d'agents passe à l'infini, formant ainsi pour un nombre de joueurs fini N, un équilibre �-Nash. Plus généralement, les lois de contrôle séparées optimales peuvent ne pas être asymptotiquement optimales et peuvent en fait conduire à un comportement global instable. Nous considérons donc une classe de lois de contrôle centralisées paramétrées selon lesquelles le gain séparé de Kalman est traité comme le gain arbitraire d'un observateur analogue à un observateur de Luenberger. Les régions de stabilité du système sont caractérisées et la nature des politiques optimales de contrôle coopératif au sein de la classe considérée est explorée. La deuxième partie concerne l'extension du travail dans la première partie au-delà du seuil d'instabilité des contrôles coopératifs. Il est alors observé que les contrôles linéaires invariants dans le temps basés sur les sorties des filtres de dimension croissante semblent toujours maintenir la stabilité du système et d'intrigantes propriétés sur les estimations des états sont observées numériquement.

Abstract

We consider a class of networked linear scalar stochastic control systems whereby a large number of controlled agents send their states to a central hub, which in turn sends back noiseless control commands based on its observations, and aimed at minimizing a given quadratic cost. The communication technology is code division multiple access (CDMA), and as a result signals received at the central hub are corrupted by interference. The signals sent by agents are considered proportional to their state, and CDMA based signal processing reduces other agents' interference by a factor of 1/N where N is the number of agents. The existing interference inadvertently creates a game situation whereby the actions of one agent affect its state and thus through interference, the ability of other agents to estimate theirs, in turn influencing their ability to control their state. This leads to highly coupled estimation problems. It also leads to a dual control situation as individual controls both steer the state and affect the estimation potential of that state. The thesis is presented in three main parts. In the first part, we show that ignoring the interference term and using a separation principle for control provably leads to Nash equilibria asymptotic in N, as long as individual dynamics are stable or “not exceedingly” unstable. In particular, we establish that for certain classes of cost and dynamic parameters, optimal separated control laws obtained by ignoring the interference coupling are asymptotically optimal when the number of agents goes to infinity, thus forming for finite N an �-Nash equilibrium. More generally though, optimal separated control laws may not be asymptotically optimal, and can in fact result in unstable overall behavior. Thus we consider a class of parameterized decentralized control laws whereby the separated Kalman gain is treated as the arbitrary gain of a Luenberger like observer. System stability regions are characterized and the nature of optimal cooperative control policies within the considered class is explored. The second part is concerned with the extension of the work in the first part past the instability threshold for the previous cooperative Luenberger like observers. It is observed that time invariant linear controls based on the outputs of growing dimension filters appear to always maintain system stability, and intriguing state estimate properties are numerically observed. More specifically, we tackle the case of exact decentralized filtering under a class of time invariant certainty equivalent feedback controllers, and numerically investigate both stabilization ability and performance of such controllers as the state estimate feedback gain varies. While the optimum filters have memory requirements which become infinite over time, the stabilization ability of their finite memory approximation is also tested.