日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント強化学習arXiv:2605.31361

他者の夢を見る:マルチエージェント強化学習における世界モデル内の潜在チームメイトモデリング

Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

協調型マルチエージェント強化学習において、チームメイトの内部方策や意図を世界モデル内で潜在変数としてモデル化し、心の理論ヘッドで推論することで、多様な協調相手への適応を可能にするアーキテクチャを提案した。

詳しい要約

1. どんなもの?

協調型 multi-agent reinforcement learning (MARL) において、teammate の内部 policy や意図が直接観測できない問題に対処する新視点を提案する。Dreamer 系の world model 内で teammate を構造的・学習可能な要素として扱い、recurrent state-space model (RSSM) の latent state を environment 成分と teammate 成分に factorize する。さらに Theory-of-Mind (ToM) head を補助学習し、部分軌跡から partner の character・intent・予測行動などの latent embedding を推論する。これらの teammate latent が actor と critic を条件付け、多様な協力者を想像・適応可能にする。部分的観測下での zero-shot / few-shot coordination を支援する構想と、その評価用 benchmark・protocol を提示する。

2. 先行研究と比べてどこがすごい?

Dreamer などの world model は single-agent 設定で強い汎化と sample efficiency を示すが、MARL への適用は teammate 由来の不確実性を扱えない点で限定的だった。本研究は teammate を world model 内の構造的・学習可能な component として扱う新視点を導入し、RSSM の latent state を environment と teammate に factorize する点、および ToM head で partner の character・intent・予測行動を推論する点で先行研究と異なる。これにより world model を環境動態の予測器だけでなく社会的行動の simulator として位置付ける。

3. 技術・手法の肝は?

- Dreamer 系の recurrent state-space model (RSSM) を基盤とする。 - latent state を environment 成分と teammate 成分に factorize する architecture を導入。 - 部分軌跡から partner の character・intent・予測行動などの latent embedding を推論する補助 Theory-of-Mind (ToM) head を学習。 - 得られた teammate latent で actor と critic を条件付け、多様な協力者を想像・適応可能にする。 - 部分的観測下での zero-shot / few-shot coordination を支援する構想を提示。

4. どうやって有効だと検証した?

要旨からは不明。ただし、本手法の影響を評価するための benchmark と evaluation protocol の集合を提案すると述べられている。

5. 議論はある?

要旨からは不明。ただし、本手法が部分的観測設定での zero-shot / few-shot coordination を支援し得る点、および world model を環境動態の予測器から社会的行動の simulator へと拡張する新方向を開く点が議論として示唆されている。

6. 次に読むべき論文は?

Dreamer、recurrent state-space model (RSSM)、Theory-of-Mind (ToM) 関連研究、協調型 multi-agent reinforcement learning (MARL) の benchmark。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tomas Leroy-Stone

分類: cs.MA, cs.AI, cs.LG

原文アブストラクト

In cooperative multi-agent reinforcement learning (MARL), agents must coordinate with partners whose internal policies and intentions are not directly observable. While world models such as Dreamer have demonstrated strong generalization and sample efficiency in single-agent settings, their application to MARL remains limited by an inability to handle teammate-induced uncertainty. We propose a new perspective: treat teammates as structured, learnable components within the agent's world model. We introduce an architecture that factorizes the latent state of a Dreamer-style recurrent state-space model (RSSM) into environment and teammate components, and learns an auxiliary Theory-of-Mind (ToM) head to infer latent embeddings of partner behavior such as character, intent, and predicted actions from partial trajectories. These teammate latents condition the actor and critic, enabling the agent to imagine and adapt to diverse collaborators. We outline how this approach can support zero-shot and few-shot coordination in partially observable settings and propose a set of benchmarks and evaluation protocols to assess its impact. This work positions world models as not only predictors of environmental dynamics, but as simulators of social behavior, opening new directions for generalizable, human-compatible AI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI