日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2511.12848

逆ゲーム理論による対話型政策の構造的模倣学習

Structured Imitation Learning of Interactive Policies through Inverse Games

シェア:XThreadsFacebookLINEはてブBluesky

マルチエージェントのデモから個々の行動を模倣学習し、逆ゲーム問題を解いてエージェント間の依存関係を構造的に学習する手法を提案。5エージェントの社会ナビゲーションで有効性を示した。

詳しい要約

1. どんなもの?

- 複数エージェントが明示的コミュニケーションなしに共有空間で協調する interactive policy の模倣学習フレームワーク - generative model ベースの single-agent imitation learning と game-theoretic structure を組み合わせる - 学習を2段階に分離: 個々の行動パターン学習とエージェント間依存関係の構造学習 - synthetic 5-agent social navigation タスクで予備的結果を示す研究

2. 先行研究と比べてどこがすごい?

- 従来の generative model-based imitation learning は高複雑度の motor skills 学習で強い成果を上げてきた - しかし multi-agent interactions は非インタラクティブタスクより行動複雑度が大幅に高く、interactive policy の模倣は困難だった - 本研究は single-agent policy learning に game-theoretic structure を組み合わせ、inter-agent dependencies を明示的に分離して学習する点が新しい - 具体的な先行研究名の比較は要旨からは不明

3. 技術・手法の肝は?

- 第1段階: multi-agent demonstrations から標準的な imitation learning で個々の behavioral patterns を学習 - 第2段階: inverse game problem を解くことでエージェント間の依存関係を構造的に学習 - generative single-agent policy learning と柔軟かつ表現力のある game-theoretic structure の組み合わせが肝 - 学習を2ステップに明示分離することで interactive policy を獲得

4. どうやって有効だと検証した?

- synthetic 5-agent social navigation タスクで予備的評価を実施 - 提案手法は non-interactive policies を大幅に改善 - わずか50 demonstrations で ground truth interactive policy と同等程度の性能を達成 - これらの結果から interactive 設定における structured imitation learning の可能性を示唆

5. 議論はある?

- 結果は予備的(preliminary)であり、限定的な評価にとどまる - synthetic 5-agent social navigation タスクのみでの検証で、実世界や他タスクへの一般化は要旨からは不明 - 50 demonstrations での比較は ground truth interactive policy と同等程度であり、上回るかは不明 - 明示的コミュニケーションなしの協調に焦点、他の interaction 形態への適用は要旨からは不明

6. 次に読むべき論文は?

- generative model-based imitation learning の代表的手法(例: behavior cloning 系の generative policy learning) - inverse game problem / inverse reinforcement learning に関する研究 - game-theoretic structure を用いた multi-agent imitation learning の関連研究 - social navigation における multi-agent interaction の模倣学習研究 - 要旨で具体的に参照されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Max M. Sun, Todd Murphey

分類: cs.RO, cs.LG

原文アブストラクト

Generative model-based imitation learning methods have recently achieved strong results in learning high-complexity motor skills from human demonstrations. However, imitation learning of interactive policies that coordinate with humans in shared spaces without explicit communication remains challenging, due to the significantly higher behavioral complexity in multi-agent interactions compared to non-interactive tasks. In this work, we introduce a structured imitation learning framework for interactive policies by combining generative single-agent policy learning with a flexible yet expressive game-theoretic structure. Our method explicitly separates learning into two steps: first, we learn individual behavioral patterns from multi-agent demonstrations using standard imitation learning; then, we structurally learn inter-agent dependencies by solving an inverse game problem. Preliminary results in a synthetic 5-agent social navigation task show that our method significantly improves non-interactive policies and performs comparably to the ground truth interactive policy using only 50 demonstrations. These results highlight the potential of structured imitation learning in interactive settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI