日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38984

Sparse-WAM: 行動誘導スパース想像によるWorld Action Modelの高速化

Sparse-WAM: Accelerating World Action Models via Action-Guided Sparse Imagination

シェア:XThreadsFacebookLINEはてブBluesky

World Action Modelの推論時、行動トークンから未来フレームへの注意分布が連続するデノイズステップ間で類似している点を利用し、行動に関連するトークンだけを選択処理する学習不要の高速化フレームワークを提案。

詳しい要約

1. どんなもの?

- 本論文は、World-Action Models (WAMs) の推論を高速化する Sparse-WAM を提案する。 - WAMs は事前学習済み動画モデルを活用し、将来の視覚状態と行動を同時に予測するが、推論コストが高い。 - Sparse-WAM は training-free のフレームワークで、action-guided sparse imagination により将来フレームのトークンを選択的に処理する。 - これにより、NVIDIA RTX 4090 上で約2.0倍(LIBERO, FastWAM-Joint)および1.8倍(RoboLab-120, Cosmos 3 Edge)の推論高速化を達成。 - タスク性能をほぼ維持する。

2. 先行研究と比べてどこがすごい?

- 従来の token pruning は、video diffusion models において視覚的忠実度を優先して denoising コストを削減する。 - しかし、WAMs の joint denoising では、action relevance を考慮して将来フレームのトークンを選択していなかった。 - Sparse-WAM は action-guided token selection を導入し、action に関連する領域を保持しつつ、cross-frame context も維持する。 - これにより、従来の視覚忠実度ベースの手法よりも効率的に推論を加速できる。

3. 技術・手法の肝は?

- 連続する denoising ステップ間で、action tokens から future-frame tokens への attention(action-to-future attention)の空間分布が大きく重複することを観察。 - この観察に基づき、Action-Guided Token Selection を開発。フレーム固有の action-relevant 領域と cross-frame context を保持する。 - ナイーブな実装では attention-scoring と token-packing のオーバーヘッドが pruning の計算節約を相殺する可能性がある。 - そこで、Pilot という効率的なエンジンを導入。軽量なスコアリングと cross-step reuse of token selections により、sparse inference のオーバーヘッドを削減。

4. どうやって有効だと検証した?

- LIBERO データセットで FastWAM-Joint を用いて評価。 - RoboLab-120 データセットで Cosmos 3 Edge を用いて評価。 - NVIDIA RTX 4090 上で dense eager inference と比較し、それぞれ約2.0倍と1.8倍の推論高速化を確認。 - タスク性能がほぼ維持されることを検証。

5. 議論はある?

- 要旨からは、Sparse-WAM の限界や議論の詳細は不明。 - ただし、training-free であり、タスク性能をほぼ維持しつつ高速化を達成した点が強調されている。 - ナイーブな実装のオーバーヘッド問題に対処する Pilot の有効性が示唆されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:token pruning を用いた video diffusion models の高速化手法(具体的な論文名は不明)。 - 関連手法:FastWAM-Joint, Cosmos 3 Edge, LIBERO, RoboLab-120。 - 同分野の定番:World Models, Video Diffusion Models, Token Pruning, Action-Conditioned Video Prediction。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinling Xie, Haodong Wang, Jiazhi Mi, Zhiming Liu, Zicong Hong, Xiaoyi Pang, Qianli Liu, Yangjia Hu, Ying Chen, Zhengyang Yan, Song Guo

分類: cs.RO, cs.AI

原文アブストラクト

World-action models (WAMs) leverage pretrained video models to improve generalization in robot control by jointly predicting future visual states and actions. This capability comes at a substantial inference cost, as dense future-frame tokens are repeatedly processed during denoising. Prior methods address this by token pruning that prioritizes visual fidelity to reduce denoising costs in video diffusion models. However, these methods do not use action relevance to determine which future-frame tokens to retain during joint denoising in WAMs. In this paper, we propose Sparse-WAM, a training-free framework for action-guided sparse imagination that selectively processes future-frame tokens to accelerate WAM inference. We observe substantial overlap in the spatial distribution of attention from action tokens to future-frame tokens (action-to-future attention) between consecutive denoising steps, despite continued updates to the future representations. Motivated by this, we develop Action-Guided Token Selection to retain frame-specific action-relevant regions together with cross-frame context. However, a naive implementation can incur attention-scoring and token-packing overhead that offsets the computational savings from pruning. We therefore introduce Pilot, an efficient engine that reduces sparse inference overhead through lightweight scoring and cross-step reuse of token selections. On LIBERO with FastWAM-Joint and RoboLab-120 with Cosmos 3 Edge, Sparse-WAM achieves inference speedups of approximately $2.0\times$ and $1.8\times$, respectively, over dense eager inference on an NVIDIA RTX 4090, while largely preserving task performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI