日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2609.33336

保守性を超えて:モデルベース模倣学習のための回復可能性条件付き探索

Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

モデルベース模倣学習において、保守的方策学習と能動的データ収集を分離し、メイン方策が専門家行動へ戻れる回復可能な未知状態に探索を集中させるRECONを提案。歩行・ナビゲーション・操作タスクで効率と性能を改善。

詳しい要約

1. どんなもの?

- Model-based imitation learning (MBIL) の新手法 RECON を提案。 - 実環境での interaction efficiency を高めるため、conservative policy learning と active data collection を分離。 - main policy と explorer を維持し、explorer は recoverability で条件付けられた epistemic uncertainty に基づき実環境 interaction を収集。 - locomotion, navigation, manipulation で検証。

2. 先行研究と比べてどこがすごい?

- 従来の conservative MBIL は model exploitation を抑えるが、conservative policy 自身が実環境 interaction を集めるため expert 分布周辺の不確実領域が未探索のまま。 - 汎用 uncertainty-driven exploration は novel だが task-irrelevant な dynamics に interaction を割り当てる可能性。 - RECON は recoverability で条件付け、main policy が expert 行動へ戻れる未知状態に探索を集中。 - これにより prior 手法が未探索だった recovery regions を実環境 interaction でカバー。

3. 技術・手法の肝は?

- main policy と explorer を分離。 - explorer は multi-step main-policy imagination から推定した recoverability で条件付けられた epistemic uncertainty に基づき最適化。 - 実環境 interaction を未知だが回復可能な状態へ誘導。 - 結果として imitation に適した world model を学習。

4. どうやって有効だと検証した?

- locomotion, navigation, manipulation のタスクで実験。 - interaction efficiency, imitation performance, robustness の一貫した向上を確認。 - これにより RECON が expert 分布周辺の recovery regions へ実環境 interaction を向け、prior 手法より良い world model を学習することを示唆。

5. 議論はある?

- 要旨からは不明。 - ただし、model-induced と real-environment occupancies のギャップや model error への感度、conservative MBIL の未探索問題、汎用探索の非効率性が背景として議論されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: conservative MBIL, generic uncertainty-driven exploration。 - 関連手法: model-based imitation learning (MBIL), world model, epistemic uncertainty, recoverability。 - 同分野の定番: model-based reinforcement learning, imitation learning, exploration in RL。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuanlin Chen, Ziyue Wang, Xunlan Zhou, Yuan-yih Shang, Qiang Wu, Shenghua Wan

分類: cs.LG, cs.AI

原文アブストラクト

Model-based imitation learning (MBIL) improves real-environment interaction efficiency by optimizing policies on imagined rollouts from a learned world model. However, the gap between model-induced and real-environment occupancies makes policy learning sensitive to model error. Conservative MBIL mitigates model exploitation during policy optimization, but when real-environment interactions are collected by the same conservative policy, uncertain regions around the expert distribution remain insufficiently sampled. Generic uncertainty-driven exploration, on the other hand, may allocate interaction to novel but task-irrelevant dynamics. We propose REcoverability-CONditioned Exploration for Model-Based Imitation Learning (RECON). RECON separates conservative policy learning from active data collection by maintaining a main policy for task execution and an explorer for real-environment interaction. The explorer is optimized based on epistemic uncertainty conditioned on recoverability estimated from multi-step main-policy imagination, focusing data collection on unknown states from which the main policy can still return toward expert behavior. Experiments on locomotion, navigation and manipulation show consistent gains in interaction efficiency, imitation performance, and robustness, indicating that RECON directs real-environment interaction toward recovery regions around the expert distribution that are underexplored by prior methods, and thereby learns a world model better suited for imitation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI