日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.33177

DeltaWAM: 変化中心の視覚予測による効率的なWorld-Actionモデル

DeltaWAM: Change-Centric Visual Foresight via Delta Tokens for an Efficient World-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

連続フレーム間の変化を表すコンパクトなdeltaトークンで未来を予測するWorld-Actionモデルを提案し、LIBEROで92.8%の成功率を達成した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための World-Action Model (WAM) である DeltaWAM を提案。 - 未来予測の単位を pixel ではなく『delta token』に変更した change-centric な WAM。 - delta token は連続する dense DINO feature map 間の変化を表す単一ベクトル。 - DeltaWorld (大規模動画で事前学習された latent world model) を基盤に、未来フレームごとに delta token を自己回帰予測。 - flow-matching action expert が予測された遷移と現在の DINO 特徴 (spatial anchor) を条件に action chunk を生成。 - 0.725B パラメータ、H100 2 基で 256 GPU 時間学習。

2. 先行研究と比べてどこがすごい?

- pixel-space の WAM は未来シーン全体を毎回再構成するため計算コストと時空間冗長性が高い。 - 物理マニピュレーションでは連続フレームの視覚文脈の大半が共有され、行動方策が予測すべきは変化である点に着目。 - DeltaWAM は変化のみを delta token として予測するため、冗長な再構成を回避する。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- 未来予測の単位を compact な delta token とし、各 token は連続する dense DINO feature map 間の変化を符号化する単一ベクトル。 - DeltaWorld (大規模動画で事前学習された latent world model) を基盤に、未来フレームごとに delta token を自己回帰予測。 - flow-matching action expert が予測された遷移と現在の DINO 特徴 (spatial anchor) を条件に action chunk を生成。 - 学習は H100 2 基で 256 GPU 時間、パラメータ数 0.725B。

4. どうやって有効だと検証した?

- LIBERO で平均成功率 92.8% を達成。 - LIBERO-Pro の procedural perturbation 下で robust な汎化を示す。 - 推論は action chunk あたり 142.1 ms、ピークメモリ 3.86 GB。 - 具体的なベースライン比較やアブレーションは要旨からは不明。

5. 議論はある?

- pixel-space モデルの計算コストと時空間冗長性を delta token で削減する主張。 - 推論速度 142.1 ms/action chunk、ピークメモリ 3.86 GB という効率性を報告。 - 限界や失敗ケース、delta token の一般性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- DeltaWorld (基盤となる latent world model) - DINO (dense feature map の抽出に使用) - flow-matching に基づく action expert 関連研究 - LIBERO / LIBERO-Pro (評価ベンチマーク) - pixel-space の World-Action Model 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyun Jiang, Wenrui Bao, Bingxin Xu, Yu Tian, Yuzhang Shang

分類: cs.RO, cs.CV

原文アブストラクト

World-Action Models (WAMs) offer visual foresight for robotic manipulation, but pixel-space models repeatedly reconstruct entire future scenes, incurring high computational cost and spatio-temporal redundancy. In physical manipulation, consecutive frames often share most of their visual context; the changes between them are what an action policy needs to anticipate. We introduce DeltaWAM, a change-centric WAM that makes a compact delta token the unit of future prediction. Each token is a single vector encoding changes between consecutive dense DINO feature maps. DeltaWAM builds on DeltaWorld, a latent world model pretrained on large-scale videos, to autoregressively predict one delta token per future frame. A flow-matching action expert then conditions on the predicted transitions and current DINO features, which serve as spatial anchors, to generate action chunks. Trained for 256 GPU hours on two H100 GPUs, DeltaWAM has 0.725B parameters and achieves 92.8% average success on LIBERO. It also shows robust generalization under procedural perturbations on LIBERO-Pro. Inference takes 142.1 ms per action chunk with 3.86 GB peak memory.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI