調整には時としてランダム性が必要である

本論文は、協調型マルチエージェント強化学習（MARL）において、完全パラメータ共有と順列対称な観測の下では共有決定論的方策が全エージェントに同一の行動分布を出力し、役割分化が不可能になる問題を扱う。これを匿名の同一プロセッサ間の対称性破れとして捉え、ランダム性を必要とすることを示す。提案手法 Diamond Attention は、各エージェントが各タイムステップでスカラー乱数をサンプリングし、一時的な順位付けを誘導する cross-attention アーキテクチャである。下位のピアを agent-to-agent attention からマスクし、task attention はマスクしない。これにより単一ブロードキャストラウンドでランダムビット協調プロトコルを実現し、集合ベース attention により異なるチームサイズへの zero-shot 展開を可能にする。

先行研究では full parameter sharing が同種エージェントの協調 MARL の標準であり、順列対称な観測下では共有決定論的方策が役割分化を不可能にする。本手法は、匿名の同一プロセッサ間の対称性破れにはランダム性が必要という理論的知見に基づき、Diamond Attention で構造化されたランダム性を導入する。決定論的ベースラインが完全対称 XOR ゲームで成功率約 0.5 に留まるのに対し、本手法は 1.0 を達成する。また、N=4 で訓練した方策が N∈[2,8] に zero-shot 一般化し、SMACLite のクロスシナリオ転移でも標準ベースラインが構造的制約で転移できないのに対し zero-shot 転移を達成する。さらに、構造化マスクを標準的な dropout ベースのランダム性に置き換えると勝率 0% となり、確率的ノイズではなくプロトコル空間の構造が有効要因であることを確認している。

Diamond Attention は cross-attention アーキテクチャであり、各エージェントが各タイムステップでスカラー乱数をサンプリングする。この乱数により一時的な順位付けを誘導し、下位ランクのピアを agent-to-agent attention からマスクする一方、task attention は完全にマスクしない。これにより、単一ブロードキャストラウンドでランダムビット協調プロトコルを実現する。また、集合ベースの attention を用いることで、異なるチームサイズへの zero-shot 展開を可能にする。

3つのレジームで評価し、構造化されたランダム性が重要となる条件を分離している。完全対称 XOR ゲームでは本手法が成功率 1.0 を達成し、全決定論的ベースラインは約 0.5 で頭打ちとなる。制御協調タスクでは N=4 で訓練した方策が N∈[2,8] に zero-shot 一般化する。SMACLite のクロスシナリオ転移では、標準ベースラインが構造的制約で転移できないのに対し、zero-shot 転移を達成する。さらに、構造化マスクを標準的な dropout ベースのランダム性に置き換えると勝率 0% となり、プロトコル空間の構造が有効要因であることを確認している。

本論文では、構造化マスクを標準的な dropout ベースのランダム性に置き換えると勝率 0% になることを示し、確率的ノイズではなくプロトコル空間の構造が有効要因であると議論している。その他の議論や限界については要旨からは不明。

要旨で参照・比較されている研究として、full parameter sharing を用いる協調 MARL、決定論的ベースライン、dropout ベースのランダム性、XOR ゲーム、SMACLite が挙げられる。関連手法として、匿名の同一プロセッサ間の対称性破れに関する理論、cross-attention、集合ベース attention が挙げられる。