世界モデル/ポリシー評価2026/6/1arXiv:2606.00267

StressDream: ビデオ世界モデルを操縦して堅牢なポリシー評価と改善を実現

StressDream: Steering Video World Models for Robust Policy Evaluation and Improvement

拡散ベースのビデオ世界モデルにおいて、推論時に指定された高影響かつ妥当な未来（例：タスク失敗）へ想像を誘導する手法を提案し、ポリシーの堅牢な評価と改善を可能にした。

詳しい要約

1. どんなもの？

- ビデオ世界モデル（WM）を用いた政策評価・改善のための手法「StressDream」を提案。 - 推論時にテキストで指定された高影響かつ妥当な結果（例：タスク失敗）に向けて、拡散ベースWMの初期ノイズを最適化することで想像を誘導。 - これにより、ロボット行動の潜在的に望ましくない結果を特定し、堅牢な政策評価と改善を可能にする。

2. 先行研究と比べてどこがすごい？

- 従来のWMによる政策評価・改善は、名目的な想像（nominal imaginations）に依存し、高影響な結果を見逃す可能性があった。 - 多数のサンプルを必要とせず、推論時に指定された高影響かつ妥当な結果に想像を誘導できる点が優れている。 - 自動運転とロボット操作の最先端WMで有効性を示し、テキスト指定によるタスク失敗などの誘導が可能。

3. 技術・手法の肝は？

- 拡散ベースWMの初期ノイズを最適化し、想像を誘導。 - 高次元ノイズ最適化の課題に対し、二つの目的関数を導入： - 意味的目的：Vision-Language Model（VLM）が生成ビデオを推論し、有益な勾配を提供。 - 妥当性目的：最適化ノイズがout-of-distribution（OOD）に逸脱するのを防止。 - これにより、シーン依存の目標イベントを考慮しつつ、もっともらしい想像を維持。

4. どうやって有効だと検証した？

- 自動運転とロボット操作の最先端ビデオ世界モデルを用いて検証。 - StressDreamがテキスト指定の高影響かつ妥当な結果（例：タスク失敗）に想像を効果的に誘導することを示した。 - 望ましくない結果を含む妥当な未来を持つ行動を特定し、堅牢な政策評価・改善が可能であることを実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：自動運転とロボット操作の最先端ビデオ世界モデル（具体的名称は要旨に記載なし）。 - 関連手法：Vision-Language Model（VLM）、拡散ベースWM。 - 同分野の定番：Dreamer、PlaNetなどの世界モデルベースの政策学習手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwon Seo, Sushant Veer, Ran Tian, Wenhao Ding, Apoorva Sharma, Karen Leung, Edward Schmerling, Marco Pavone, Andrea Bajcsy

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Video world models (WMs) have shown promise for policy evaluation and improvement by imagining realistic future observations conditioned on ego-robot actions. While WMs can model distributions over futures, policy evaluation and improvement typically rely on nominal imaginations, which can miss high-impact outcomes of robot actions unless prohibitively many samples are drawn. To enable robust policy evaluation and improvement over WM imaginations, we propose StressDream, which steers imaginations toward high-impact yet plausible outcomes specified at inference time by optimizing the initial noise of diffusion-based WMs. However, optimizing high-dimensional noise is challenging: the optimization must reason about nuanced, scene-dependent target events in generated videos while avoiding out-of-distribution (OOD) noise that yields implausible imaginations. We address this with two complementary objectives: a semantic objective with a Vision-Language Model that provides informative gradients by reasoning about the generated video, and a plausibility objective that prevents the optimized noise from drifting OOD. With state-of-the-art video world models for autonomous driving and robotic manipulation, we show that StressDream effectively steers imaginations toward high-impact yet plausible outcomes specified by text at inference time, such as task failures, enabling robust policy evaluation and improvement by identifying actions whose plausible futures include undesirable outcomes. Video results are available at https://junwon.me/StressDream/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧