VLA/動的操作2026/6/1arXiv:2606.02486

未来を先取りする：動的VLA操作のための潜在空間予測世界モデル

Intercepting the Future: Latent-Space Predictive World Model for Dynamic VLA Manipulation

物体が動く環境での操作を可能にするため、凍結したVLAモデルに動きを考慮した潜在世界モデルを追加し、将来の特徴を予測してから行動する手法を提案した。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルは静的な操作には汎化するが、タスク実行中に物体が動くと失敗する。 - 観測から行動への写像がシーンを静止と仮定し、物体速度が非自明だと遅延が把持可能時間を超える。 - このギャップを埋めるために AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics) を提案。 - AHEAD は predict-then-act ラッパーで、凍結した VLA に運動認識潜在世界モデルを追加する。 - 小さな世界モデルが操作動画で訓練され、VLA の特徴空間で将来のパッチトークンを予測する。 - 言語と運動の saliency mask でタスク関連パッチに予測を集中。 - 適応ホライズンでロールフォワードし、予測不確実性が閾値を超えると停止。 - 凍結行動デコーダは現在のトークンの代わりに予測未来トークンを受け取る。

2. 先行研究と比べてどこがすごい？

- 従来の VLA は静的操作に汎化するが、動的シーンでは失敗する。 - 既存手法は観測と実行間のシーン静止を仮定し、物体速度が高いと遅延が把持時間を超える。 - AHEAD は凍結 VLA に運動認識潜在世界モデルを追加し、将来の特徴を予測して行動に渡す。 - これにより動的シナリオでの成功率が大幅に向上。 - 20 の動的シミュレーションシナリオで 79-97% 成功、最強ベースラインは 31-58%。 - 物理 UFactory xArm 7 で、コンベヤと転がるボールの 3 タスクで 29/30-30/30、パドルインターセプトで 23/30、投射物キャッチで 19/30 成功。 - ベースラインは投射物キャッチで 0/30。

3. 技術・手法の肝は？

- AHEAD は predict-then-act ラッパー。 - 凍結 VLA に運動認識潜在世界モデルを追加。 - 小さな世界モデルを操作動画で訓練。 - VLA の特徴空間で将来のパッチトークンを予測。 - 光学フローから得たトークンごとの速度と加速度を条件とする。 - 言語と運動の saliency mask でタスク関連パッチに予測を集中。 - 適応ホライズンでロールフォワードし、予測不確実性が閾値を超えると停止。 - 凍結行動デコーダは予測未来トークンを現在のトークンの代わりに受け取る。 - 凍結 7B OpenVLA に 4.9M パラメータを追加。

4. どうやって有効だと検証した？

- 20 の動的シミュレーションシナリオで評価。 - AHEAD は 79-97% 成功、最強ベースラインは 31-58%。 - 物理 UFactory xArm 7 で検証。 - コンベヤと転がるボールの 3 タスクで 29/30-30/30 成功。 - パドルインターセプトで 23/30 成功。 - 投射物キャッチで 19/30 成功、ベースラインは 0/30。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: OpenVLA。 - 関連手法: Vision-Language-Action (VLA) モデル、latent world model、optical flow。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shahram Najam Syed, Arthur Jakobsson, Haoran Hao, Jeffrey Ichnowski

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models generalize across static manipulation but fail when objects move during task execution. They map the current observation to an action and assume the scene is stationary between observation and execution, so at any non-trivial object speed the resulting latency exceeds the time available to grasp. We close this gap with AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics), a predict-then-act wrapper that augments a frozen VLA with a motion-aware latent world model. A small world model trained on manipulation video forecasts future patch tokens in the VLA's feature space, conditioned on per-token velocity and acceleration from optical flow. A language-and-motion saliency mask concentrates prediction on task-relevant patches, and the model rolls forward for an adaptive horizon, halting when prediction uncertainty crosses a threshold. The frozen action decoder then receives the predicted future tokens in place of the current ones. AHEAD adds 4.9M parameters to a frozen 7B OpenVLA and reaches 79 to 97% success across 20 dynamic simulation scenarios where the strongest baseline reaches 31 to 58%. On a physical UFactory xArm 7, AHEAD succeeds on 29/30 to 30/30 on three conveyor and rolling-ball tasks, 23/30 on paddle interception, and 19/30 on projectile catching where every baseline scores 0/30.

arXivで原文を読む →arXiv概要ページ

← 論文一覧