日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2510.16187

汎化方策改善と差分報酬によるアドホックチームでのゼロショット協調

Zero-Shot Coordination in Ad Hoc Teams with Generalized Policy Improvement and Difference Rewards

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの方策群を汎化方策改善と差分報酬で組み合わせ、初対面のチームメイトとゼロショットで協調できるマルチエージェント手法を提案し、実機マルチロボットでも実証した。

詳しい要約

1. どんなもの?

- 実世界の multi-agent systems における ad hoc teaming を扱う研究 - 事前に未知の teammate と zero-shot で協調する必要がある設定 - 問題を ad hoc multi-agent Markov decision process として定式化 - 提案アルゴリズムは Generalized Policy improvement for Ad hoc Teaming (GPAT) - 複数の pretrained policies を zero-shot transfer で活用する

2. 先行研究と比べてどこがすごい?

- 先行研究の多くは以下のいずれか - 新しい teammate の推定モデルに基づき pretrained policy を1つ選択 - 想定 teammate に頑健な単一 policy を pretrain - 提案手法は単一選択・単一頑健化ではなく、全 pretrained policies を活用する点が異なる - 異なるチーム間の知識転移を効率的かつ効果的に行う狙い - 具体的な性能差の数値は要旨からは不明

3. 技術・手法の肝は?

- 2つの鍵となるアイデアを組み合わせる - generalized policy improvement - difference rewards - これらにより異なるチーム間の知識転移を効率化 - 問題設定は ad hoc multi-agent Markov decision process として形式化 - 詳細なアルゴリズム構成は要旨からは不明

4. どうやって有効だと検証した?

- 3つの simulated environments で zero-shot transfer を実証 - cooperative foraging - predator-prey - Overcooked - さらに real-world multi-robot setting でも実証 - 定量的な比較結果や baseline の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点(要旨に明記なし) - pretrained policies の数増加に対する計算コスト - 実ロボット環境での汎化性や安全性 - 未知 teammate の多様性への頑健性

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明記されていない - 関連手法として以下が挙げられる - generalized policy improvement - difference rewards - ad hoc teaming における pretrained policy 選択・頑健 policy 学習の先行研究 - 同分野の定番として multi-agent reinforcement learning の ad hoc teaming 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rupal Nigam, Niket Parikh, Hamid Osooli, Mikihisa Yuasa, Jacob Heglund, Huy T. Tran

分類: cs.MA, cs.AI, cs.RO

原文アブストラクト

Real-world multi-agent systems may require ad hoc teaming, where an agent must coordinate with other previously unseen teammates to solve a task in a zero-shot manner. Prior work often either selects a pretrained policy based on an inferred model of the new teammates or pretrains a single policy that is robust to potential teammates. Instead, we propose to leverage all pretrained policies in a zero-shot transfer setting. We formalize this problem as an ad hoc multi-agent Markov decision process and present a solution that uses two key ideas, generalized policy improvement and difference rewards, for efficient and effective knowledge transfer between different teams. We empirically demonstrate that our algorithm, Generalized Policy improvement for Ad hoc Teaming (GPAT), successfully enables zero-shot transfer to new teams in three simulated environments: cooperative foraging, predator-prey, and Overcooked. We also demonstrate our algorithm in a real-world multi-robot setting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI