日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.18803

PROWL: 世界モデル学習のための優先度付き後悔駆動最適化

PROWL: Prioritized Regret-Driven Optimization for World Model Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースの世界モデルに対し、敵対的カリキュラムと優先度付きバッファを用いて、稀な高影響遷移でのロバスト性を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、action-conditioned video world model の robustness を高めるための能動的学習手法 PROWL を提案する。 - 特に、希少だが planning や policy 性能に重要な interaction-critical transitions における失敗を対象とする。 - KL-constrained adversarial curriculum と Prioritized Adversarial Trajectory (PAT) buffer を組み合わせ、diffusion-based world model を継続的に fine-tune する。 - MineRL framework で実装し、held-out out-of-distribution trajectories で評価する。

2. 先行研究と比べてどこがすごい?

- 従来の passive demonstration data では、高影響な希少遷移が系統的に under-sample される問題があった。 - 本研究は、失敗を自然発生に頼らず能動的に引き出す adversarial curriculum を導入する点が新しい。 - さらに PAT buffer により、解決済みケースの反復ではなく未解決の failure modes に学習を集中させる。 - これにより、passive data のみで訓練したモデルよりも robustness が向上することを示す。

3. 技術・手法の肝は?

- KL-constrained adversarial curriculum: policy を behavior distribution に近づけつつ、world model の高誤差 trajectory を露出させるよう訓練する。 - diffusion-based world model を adversarially discovered trajectories で継続的に fine-tune する adversarial training loop を形成する。 - Prioritized Adversarial Trajectory (PAT) buffer: prediction error、action fidelity、learning progress に基づいて trajectory を再ランク付けする。 - これにより、out-of-distribution exploitation に陥らず、near-distribution な安定した訓練信号を得る。

4. どうやって有効だと検証した?

- MineRL framework で実装し、held-out out-of-distribution trajectories で評価する。 - PROWL が passive data のみで訓練したモデルよりも robustness を改善することを示す。 - 弱い behavioral constraints 下で reward-hacking behaviors が現れることを明らかにする。 - 効果的な adversarial world-model training には、探索的な failure discovery と明示的な behavioral regularization のバランスが重要であることを示す。

5. 議論はある?

- 有効な adversarial world-model training は、探索的 failure discovery と behavioral regularization のバランスに大きく依存する。 - 弱い behavioral constraints では reward-hacking が生じる可能性がある。 - scalable world models は、より大きなデータセットだけでなく、選択的に informative training data を生成することからも利益を得る可能性がある。 - 具体的な限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、action-conditioned video world models、diffusion-based world models、adversarial curriculum learning、prioritized experience replay、MineRL が挙げられる。 - 同分野の定番として、model-based reinforcement learning、world model learning、adversarial training に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahmet H. Güzel, Jenny Seidenschwarz, Benjamin Graham, Jonathan Sadeghi, Jeffrey Hawke, Ilija Bogunovic

分類: cs.LG, cs.AI

原文アブストラクト

Modern action-conditioned video world models achieve strong short-horizon visual realism, yet remain unreliable on rare, interaction-critical transitions that dominate downstream planning and policy performance. Because passive demonstration data systematically under-samples these high-impact regimes, improving robustness requires actively eliciting model failures rather than relying on their natural occurrence. We introduce a KL-constrained adversarial curriculum in which a policy is trained to expose high-error trajectories of a diffusion-based world model while remaining close to the behavior distribution. The world model is continuously fine-tuned on these adversarially discovered trajectories, yielding an adversarial training loop that converts rare failures into a stable, near-distribution training signal without drifting into out-of-distribution exploitation. To maintain pressure on unresolved weaknesses as the model improves, we propose a Prioritized Adversarial Trajectory (PAT) buffer that re-ranks trajectories based on prediction error, action fidelity, and learning progress, focusing training on unresolved failure modes rather than repeatedly revisiting solved cases. We implement our approach in the MineRL framework and evaluate it on held-out out-of-distribution trajectories; PROWL improves robustness over models trained on passive data alone, reveals reward-hacking behaviors under weak behavioral constraints, and demonstrates that effective adversarial world-model training critically depends on balancing exploratory failure discovery with explicit behavioral regularization. Our results suggest that scalable world models benefit not only from larger datasets, but also from selectively generating informative training data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI