日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.11521

未来を保持し、ロールアウトを捨てる:ワールドアクションモデルのためのRIFT

Keep the Future, Drop the Rollout: RIFT for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動生成に使われるワールドアクションモデル(WAM)において、反復的なビデオロールアウトを必要とせず、学習された予測トークンを用いて将来のキャッシュを一回のパスで構築する手法RIFTを提案し、遅延を大幅に削減しつつ成功率を維持できることを示した。

詳しい要約

1. どんなもの?

本論文は、World Action Models (WAMs) における反復的なビデオロールアウトの必要性を問い、将来の表現のみで行動生成が可能かどうかを検証する。具体的には、将来のK/Vキャッシュを固定再利用する手法と、学習された予測トークンを用いてワンパスで将来キャッシュを構築するRIFT (Rollout-free Imagination via Future Tokens) を提案する。

2. 先行研究と比べてどこがすごい?

従来のWAMsは、行動生成時に反復的なビデオロールアウトを必要とし、展開時のレイテンシが課題であった。本研究は、ロールアウト軌跡全体ではなく、その将来表現(K/Vキャッシュ)のみが行動生成に寄与することを示し、ロールアウトなしで将来条件付けを実現する点が新しい。

3. 技術・手法の肝は?

手法の肝は、将来のK/Vキャッシュを学習された予測トークン(anticipation tokens)で直接構築し、元の将来読み取りインターフェースを維持すること。これにより、反復的なビデオ生成を排除し、単一のバックボーンパスで将来キャッシュを生成する。

4. どうやって有効だと検証した?

LIBEROの全40タスクで4つのWAMsに対して閉ループ介入実験を行い、将来キャッシュのマスキングや再割り当てが成功率を低下させることを確認。JointとCosmos-2では固定キャッシュ再利用で成功率97.9%〜98.2%を維持。RIFTはLIBEROで98.8%の成功率を達成し、ロールアウトベースのJoint, IDM, LingBot-VA (98.4%〜98.6%) と同等でありながら、アクションチャンクのレイテンシを68.2%〜89.1%削減。RoboTwin 2.0ではクリーン/ランダム化シーンで92.9%/92.6%の成功率を達成し、評価手法中最高。

5. 議論はある?

議論として、固定キャッシュ再利用が可能なモデルとそうでないモデルの差異(JointとCosmos-2は可能、他は不可)が挙げられる。また、RIFTはロールアウトなしで将来条件付けを実現するが、学習された予測トークンの品質や汎用性に関する詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、Joint, IDM, LingBot-VA, Cosmos-2が挙げられる。また、World Action Models (WAMs) の基盤となるWorld Modelsや、将来予測を用いたロボット行動生成の研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chushan Zhang, Jinguang Tong, Xuesong Li, Yikai Wang, Hongdong Li

分類: cs.RO, cs.AI

原文アブストラクト

World action models (WAMs) condition robot actions on predicted futures, but iterative video rollout increases deployment latency. We ask whether action generation requires the evolving rollout trajectory or only its future representation. Across four WAMs on all 40 LIBERO tasks, paired closed-loop interventions show that masking or reassigning future-cache values changes execution and reduces success, indicating sensitivity to future values and their assigned positions. For Joint and Cosmos-2, however, replaying one fixed final-clean key/value (K/V) cache nearly preserves unmodified execution, with $1.7$ to $1.9$~cm end-effector average displacement error and $97.9\%$ to $98.2\%$ success. This separates cache consumption from production: these models can reuse a fixed cache but still require iterative rollout to construct it. We therefore propose RIFT (\emph{Rollout-free Imagination via Future Tokens}), which uses learned anticipation tokens to construct a complete future K/V cache in one backbone pass while retaining the original future-read interface. On LIBERO, RIFT achieves $98.8\%$ success, close to rollout-based Joint, IDM, and LingBot-VA at $98.4\%$ to $98.6\%$, while reducing action-chunk latency by $68.2\%$ to $89.1\%$. On RoboTwin~2.0, RIFT reaches $92.9/92.6\%$ on clean/randomized scenes, the highest observed among the evaluated methods. These results support rollout-free future conditioning without iterative video generation at deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI