自己注意機構付き方策勾配によるモデルフリー分散非線形マルチエージェントゲーム

- 動的な非線形設定における multi-agent games を対象とした、model-free の分散 policy gradient 手法を提案する研究。 - agent の transition と cost は観測できるが、それらを生成する transition/cost 関数は未知という設定。 - 複数 agent からなる team が複数存在する multi-team games の通信制約に従う分散 policy 構造を扱う。 - policy を self-attention layers で parameterize した非線形 feedback gains としてモデル化する。

- 先行研究との具体的な比較は要旨からは不明。 - 着想は linear quadratic games における分散 policy（時変 linear feedback gains）の構造に触発されている点が特徴。 - 非線形の場合に policy を非線形 feedback gains とし、時変な multi-agent 通信トポロジーを self-attention layers で扱う点が従来と異なる狙い。 - model-free かつ分散という設定で、通信制約下の multi-team games を扱う点を主張。

- model-free 設定で、観測された transition と cost のみを用いる。 - 分散 policy 構造を policy gradients によって学習する。 - policy を非線形 feedback gains として表現し、self-attention layers で parameterize する。 - self-attention により時変な multi-agent 通信トポロジーを考慮する。 - multi-team games（team あたり複数 agent）の通信制約に従う構造を採用。

- 複数の設定で強い性能を達成したと報告。 - 具体的には distributed linear regulation と distributed nonlinear regulation で評価。 - simulated および real の multi-robot pursuit-and-evasion games で評価。 - 各実験の詳細な条件や比較対象は要旨からは不明。

- 動的な非線形設定では agent 間の時変相互作用と (potential) Nash equilibria の非定常性が課題であると述べている。 - 提案手法の限界、収束性、理論保証、計算コストなどに関する議論は要旨からは不明。 - 実ロボット実験を含むが、その失敗事例や制約の議論は要旨からは不明。

- linear quadratic games における分散 policy（時変 linear feedback gains）に関する研究。 - multi-agent games における Nash equilibria と非定常性を扱う研究。 - policy gradient による multi-agent 学習の関連研究。 - self-attention を用いた multi-agent 通信トポロジーや分散制御の研究。 - multi-robot pursuit-and-evasion の関連研究。