日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント強化学習arXiv:2601.07463

パズルを解くように:オフライン協調強化学習のための局所から大域への世界モデル

Puzzle it Out: Local-to-Global World Model for Offline Multi-Agent Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

マルチエージェント系の局所予測から大域状態を推定する世界モデルを構築し、不確実性を考慮した合成データでオフライン強化学習の汎化性能を高める手法を提案。

詳しい要約

1. どんなもの?

- オフラインMARLのための新しいworld modelフレームワーク「LOGO」を提案。 - 局所予測から大域状態ダイナミクスを推論し、合成データでデータセットを拡張。 - 不確実性を考慮したサンプリングで合成データを重み付けし、政策学習を安定化。 - 8シナリオ・8ベースラインで評価し、最先端を上回る性能を達成。

2. 先行研究と比べてどこがすごい?

- 既存のオフラインMARLはデータセット分布内に制約され、保守的で汎化が困難。 - モデルベース手法はworld modelで合成データを生成するが、多エージェント系の高次元・非定常・複雑性のため遷移・報酬推定が困難。 - LOGOは局所予測を活用し、直接的な同時ダイナミクスモデリングの難しさを回避。 - 従来のアンサンブル法と異なり、不確実性推定に追加エンコーダのみで計算コストを大幅削減。

3. 技術・手法の肝は?

- local-to-global world model:各エージェントの局所予測を統合し、大域状態ダイナミクスを推論。 - 局所予測は推定が容易で、エージェント間依存性を暗黙的に捉える。 - 学習したworld modelで合成データを生成し、有効な状態行動空間を拡張。 - uncertainty-aware sampling:予測不確実性で合成データを適応的に重み付けし、近似誤差の伝播を低減。 - 不確実性推定には追加エンコーダのみを使用。

4. どうやって有効だと検証した?

- 8つのシナリオで8つのベースラインと比較。 - 標準的なオフラインMARLベンチマークで最先端ベースラインを上回る性能を確認。 - 汎化可能なオフラインマルチエージェント学習の新しいモデルベースベースラインを確立。

5. 議論はある?

- 要旨からは不明。 - ただし、局所予測から大域ダイナミクスを推論する有効性、不確実性重み付けの寄与、計算効率と精度のトレードオフなどが議論の対象と考えられる。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究は不明。 - 関連手法として、model-based offline RL、offline MARL、world model、ensemble-based uncertainty estimation、local-to-global modeling などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sijia Li, Xinran Li, Shibo Chen, Jun Zhang

分類: cs.AI, cs.GT, cs.LG

原文アブストラクト

Offline multi-agent reinforcement learning (MARL) aims to solve cooperative decision-making problems in multi-agent systems using pre-collected datasets. Existing offline MARL methods primarily constrain training within the dataset distribution, resulting in overly conservative policies that struggle to generalize beyond the support of the data. While model-based approaches offer a promising solution by expanding the original dataset with synthetic data generated from a learned world model, the high dimensionality, non-stationarity, and complexity of multi-agent systems make it challenging to accurately estimate the transitions and reward functions in offline MARL. Given the difficulty of directly modeling joint dynamics, we propose a local-to-global (LOGO) world model, a novel framework that leverages local predictions-which are easier to estimate-to infer global state dynamics, thus improving prediction accuracy while implicitly capturing agent-wise dependencies. Using the trained world model, we generate synthetic data to augment the original dataset, expanding the effective state-action space. To ensure reliable policy learning, we further introduce an uncertainty-aware sampling mechanism that adaptively weights synthetic data by prediction uncertainty, reducing approximation error propagation to policies. In contrast to conventional ensemble-based methods, our approach requires only an additional encoder for uncertainty estimation, significantly reducing computational overhead while maintaining accuracy. Extensive experiments across 8 scenarios against 8 baselines demonstrate that our method surpasses state-of-the-art baselines on standard offline MARL benchmarks, establishing a new model-based baseline for generalizable offline multi-agent learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI