日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.39528

世界モデルの物理事前知識を活用する階層型VLA

PRIME W0: Physical Priors from World Models for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLMの層ごとのKV注入とワールドモデルによるサブゴール予測を組み合わせ、ロボットの運動学的結合を考慮したフローマッチングで操作行動を生成する階層型VLAを提案し、LIBEROと実機で最高性能を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの階層型 conditional flow-matching フレームワーク PRIME W0 を提案 - 既存 VLA の feed-forward 性(現在観測のみに条件付け、長期時間文脈と VLM 表現の階層構造を捨てる)を問題視 - 3つの設計: pretrained VLM から Adaptive MoE action expert への per-layer KV injection、world-model による subgoal-image 予測と DINOv2 履歴フレーム意味橋渡し、Action Dynamic Manifold (ADM) flow matching - 4段階学習: VLM pre-training、DAT/NTP visuomotor pre-training、DiT flow-matching decoder 組立(WM injection)、end-to-end SFT - LIBERO と実機ベンチマークで SOTA を主張

2. 先行研究と比べてどこがすごい?

- 従来 VLA は feed-forward で長期時間文脈と VLM 表現の階層構造を活用しない点を課題として明示 - 本研究は per-layer KV injection で VLM の階層表現を action expert に直接注入 - world-model による subgoal-image 予測と DINOv2 履歴フレーム意味橋渡しで dynamics-aware な条件付けを実現 - ADM flow matching の covariance-structured noise でロボットの kinematic coupling を尊重 - 具体的な比較対象の先行研究名は要旨からは不明。LIBERO・実機で SOTA と報告

3. 技術・手法の肝は?

- 階層型 conditional flow-matching を中核とする - (1) pretrained VLM から Adaptive MoE action expert へ per-layer KV injection - (2) 非同期 world-model による subgoal-image 予測 + DINOv2 historical-frame semantic bridge で dynamics-aware conditioning - (3) Action Dynamic Manifold (ADM) flow matching。covariance-structured noise で kinematic coupling を反映 - 学習は VLM pre-training → DAT/NTP visuomotor pre-training → DiT flow-matching decoder assembly with WM injection → end-to-end SFT の4段階

4. どうやって有効だと検証した?

- LIBERO ベンチマークおよび実機ロボットベンチマークで評価 - 両ベンチマークで state-of-the-art を達成したと報告 - 各アーキテクチャ構成要素について systematic ablations を実施し有効性を検証 - 具体的なタスク数・指標・被験者数などの詳細は要旨からは不明

5. 議論はある?

- 各構成要素の ablation により寄与を検証している点は示唆される - ただし限界・失敗事例・計算コスト・実機での汎化性に関する議論は要旨からは不明 - world-model の非同期予測や DINOv2 履歴橋渡しの誤差伝播への影響も要旨からは不明

6. 次に読むべき論文は?

- Vision-Language-Action (VLA) モデル全般(例: RT-2 系の feed-forward VLA) - flow matching を用いた action generation 手法(例: diffusion policy 系) - world model を用いた embodied manipulation 研究 - DINOv2 を視覚表現に用いるロボティクス研究 - LIBERO ベンチマークの基盤手法 - 要旨で明示的に参照・比較されている個別論文名は記載なし

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huabin Peng, Fagang Jin, Yancong Wei, Tengfei Ma, Chuhang Liu, Chao Yu, Liqing Chen

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models excel at instruction following, yet most remain feed-forward: they condition actions only on the current observation and discard both long-horizon temporal context and the hierarchical structure of VLM representations. We present PRIME W0, a hierarchical conditional flow-matching framework that closes this gap through three synergistic designs: (1)per-layer KV injection from a pretrained VLM into an Adaptive MoE action expert; (2)dynamics-aware conditioning via asynchronous world-model subgoal-image prediction and a DINOv2 historical-frame semantic bridge; and (3)Action Dynamic Manifold (ADM) flow matching with covariance-structured noise that respects robot kinematic coupling. PRIME W0 is trained in four stages---VLM pre-training, DAT/NTP visuomotor pre-training, DiT flow-matching decoder assembly with WM injection, and end-to-end SFT---and achieves state-of-the-art results on LIBERO and real-robot benchmarks, with systematic ablations validating each architectural component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI