日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2610.27387

行動影響最大化による制御可能なワールドモデルの学習

Training Controllable World Models via Action Influence Maximization

シェア:XThreadsFacebookLINEはてブBluesky

専門家デモのみで学習した動画生成ワールドモデルが指示行動を無視する問題を、データの行動影響度の上限として解析し、その影響度を能動的に高めるデータ収集アルゴリズムAIMを提案。操作タスクで少ないデータ量でも制御性を大幅改善。

詳しい要約

1. どんなもの?

- Action-conditioned video generative model(world model)の訓練データが持つ『action influence』に着目した研究 - 成功したgoal-directed demonstrationのみで訓練すると、指令されたactionを無視し、常にexpert風の未来を生成してしまう問題を扱う - データのaction influenceがモデルの制御可能性の上限を決めることを示し、それを高めるデータ収集アルゴリズムAIMを提案 - シミュレーション上のnavigationとmanipulationタスクで検証

2. 先行研究と比べてどこがすごい?

- 従来はモデル容量や学習手法の改善で制御可能性を高めようとしてきたが、本論文はデータ側のaction influenceが上限を課すと理論的に示す - expert demonstrationはaction分布が狭く、actionを見ずに次状態を予測できてしまうため上限が低いと指摘 - AIMはexploration heuristicsやintrinsic-motivation手法と比較され、pixel-based manipulationで唯一一貫してcontrollabilityを改善 - 3k demonstrationsにAIMで500 episode追加するだけで、300k expert episodeで訓練したworld modelと同等のend-effector controllabilityを達成(85×のデータ削減)

3. 技術・手法の肝は?

- データセットのaction influenceを指標化し、その指標がそのデータで訓練された任意のモデルが発現できるaction influenceの上限を与えることを証明 - 上限を上げるには異なるデータ収集が必要という結論から、Action Influence Maximization (AIM)を提案 - AIMは訓練データのaction influenceを能動的に高めるようにデータを収集するアルゴリズム - 具体的な収集方策の詳細は要旨からは不明

4. どうやって有効だと検証した?

- シミュレーション上のnavigationタスクとmanipulationタスクで評価 - AIMをexploration heuristicsおよびintrinsic-motivation手法と性能・データ効率で比較 - pixel-based manipulationにおいて、AIMのみが一貫してcontrollabilityを改善 - 3k demonstrations+AIMで収集した500 episodeが、300k expert episodeで訓練したworld modelとend-effector controllabilityで同等(85×のデータ削減)

5. 議論はある?

- action influenceがデータ側の上限を決めるため、モデル容量だけでは制御可能性を上げられないという主張 - expert demonstration中心のデータ収集の限界と、能動的データ収集の必要性 - AIMの収集方策の一般性や他タスクへの拡張性、実世界適用については要旨からは不明 - exploration heuristicsやintrinsic-motivationとの比較結果の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- intrinsic-motivation手法(curiosity-driven exploration等) - exploration heuristics(ε-greedy等の探索方策) - action-conditioned video generative model / world model(Dreamer系等) - imitation learningにおけるcausal confusion関連研究 - 能動的データ収集・dataset augmentationに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samuel M. Bateman, Tenny Yin, Chongyi Zheng, Lei Huang, Brian Wang, Benjamin Eysenbach, Jaime Fernández Fisac, Dhruv Shah

分類: cs.RO, cs.LG

原文アブストラクト

Action-conditioned video generative models trained on successful, goal-directed demonstrations tend to ignore the commanded action, rendering a plausible expert-like future regardless of what is asked of them. We trace this failure to training data that lack sufficient action influence. We analyze this metric and prove that it upper bounds the action influence that any model trained on that data can express. Expert demonstrations, whose narrow action distributions let next states be predicted without attending to the action, set a low ceiling that no amount of model capacity alone can raise. Raising it requires collecting different data. We introduce Action Influence Maximization (AIM), an algorithm for actively collecting training data for improving dataset action influence. We compare the performance and data-efficiency of AIM against exploration heuristics and intrinsic-motivation methods on simulated navigation and manipulation tasks. In pixel-based manipulation, AIM is the only method that consistently improves controllability: 500 actively collected episodes added to 3k demonstrations match a world model trained on 300k expert episodes on end-effector controllability, an $85\times$ reduction in data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI