日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2603.25685

持続可能なロボット世界モデル:強化学習によるマルチステップ展開の安定化

Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの世界モデルが自己回帰的に展開すると誤差が蓄積して劣化する問題に対し、強化学習を用いてモデル自身の展開上で訓練し、長期的な予測の忠実度を向上させた。

詳しい要約

1. どんなもの?

- ロボット操作のための行動条件付きworld modelを扱う研究。 - 未来のビデオフレームを生成し、物理エンジンでは難しいタスクのシミュレーションを代替。 - 自己回帰的なマルチステップロールアウトで誤差が蓄積し、画質が急速に劣化する問題を解決。 - 強化学習(RL)によるポストトレーニングでロールアウトの安定性を向上。 - DROIDデータセットで新たなstate-of-the-artを達成。

2. 先行研究と比べてどこがすごい?

- 従来のworld modelは短期的予測に最適化され、自己回帰展開で破綻。 - 本研究はRLポストトレーニングにより、自身の自己回帰ロールアウト上で訓練。 - 拡散モデル向けのcontrastive RL目的関数を適応し、収束保証がそのまま成り立つことを示す。 - 複数の可変長未来候補を比較する訓練プロトコルを設計。 - マルチビューの知覚的忠実度報酬を開発し、クリップレベルで集約。 - DROIDで最強ベースラインを全指標で上回り、ペア比較で98%勝利、人間の盲検研究で80%の選好率。

3. 技術・手法の肝は?

- 強化学習(RL)ポストトレーニング:world modelを自身の自己回帰ロールアウトで訓練。 - 拡散モデル向けcontrastive RL目的関数を適応し、収束保証を維持。 - 訓練プロトコル:同一ロールアウト状態から複数の可変長未来候補を生成・比較し、高忠実度予測を強化。 - 効率的なマルチビュー視覚忠実度報酬:複数のカメラビューにわたる補完的な知覚指標を組み合わせ、クリップレベルで集約して密で低分散な訓練信号を実現。

4. どうやって有効だと検証した?

- DROIDデータセットで評価。 - ロールアウト忠実度の新たなstate-of-the-artを確立。 - 全指標で最強ベースラインを上回る(例:外部カメラでLPIPS 14%削減、手首カメラでSSIM 9.1%改善)。 - ペア比較で98%勝利。 - 盲検人間研究で80%の選好率。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:contrastive RL objective for diffusion models、DROID dataset、LPIPS、SSIM。 - 関連手法:action-conditioned robot world models、diffusion models、reinforcement learning post-training。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

分類: cs.RO, cs.CV

原文アブストラクト

Action-conditioned robot world models generate future video frames of the manipulated scene given a robot action sequence, offering a promising alternative for simulating tasks that are difficult to model with traditional physics engines. However, these models are optimized for short-term prediction and break down when deployed autoregressively: each predicted clip feeds back as context for the next, causing errors to compound and visual quality to rapidly degrade. We address this through the following contributions. First, we introduce a reinforcement learning (RL) post-training scheme that trains the world model on its own autoregressive rollouts rather than on ground-truth histories. We achieve this by adapting a recent contrastive RL objective for diffusion models to our setting and show that its convergence guarantees carry over exactly. Second, we design a training protocol that generates and compares multiple candidate variable-length futures from the same rollout state, reinforcing higher-fidelity predictions over lower-fidelity ones. Third, we develop efficient, multi-view visual fidelity rewards that combine complementary perceptual metrics across camera views and are aggregated at the clip level for dense, low-variance training signal. Fourth, we show that our approach establishes a new state-of-the-art for rollout fidelity on the DROID dataset, outperforming the strongest baseline on all metrics (e.g., LPIPS reduced by 14% on external cameras, SSIM improved by 9.1% on the wrist camera), winning 98% of paired comparisons, and achieving an 80% preference rate in a blind human study.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI