日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.01549

Pri4R: 特権的4D表現で視覚言語行動モデルに世界の動力学を学習させる

Pri4R: Learning World Dynamics for Vision-Language-Action Models with Privileged 4D Representation

シェア:XThreadsFacebookLINEはてブBluesky

訓練時のみ特権的な4D情報を使い、3D点追跡を予測する軽量ヘッドをVLAに追加して世界の動力学を暗黙的に学習させ、推論時は元のアーキテクチャのまま高性能な操作を実現した研究。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルに世界の動力学の暗黙的理解を与える手法 Pri4R を提案。 - 訓練時に privileged な 4D 情報を活用し、軽量な point track head で 3D point tracks を予測。 - VLA 特徴を head に注入し将来の 3D 軌跡を共同学習、推論時は元の VLA 構成のまま追加入力・出力・計算負荷なし。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は意味理解に優れるが物理相互作用の時空間動力学の捕捉が不十分。 - Pri4R は訓練時のみ privileged 4D 情報を使い、推論時はオーバーヘッドゼロ。 - 主要 VLA 設計パターンと互換性が高く、最小限の変更で導入可能。

3. 技術・手法の肝は?

- 軽量 point track head を VLA に追加し、3D point tracks を予測。 - VLA 特徴を head に注入して将来の 3D 軌跡を共同予測。 - 共有表現空間で進化する scene geometry を学習し、物理的に aware な context を制御に提供。

4. どうやって有効だと検証した?

- シミュレーションと実世界評価で検証。 - LIBERO-Long で +10%、RoboCasa で +40% の性能向上。 - 3D point track 予測が action-world dynamics 学習の有効な supervision target であることを示し、設計選択を ablations で検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO-Long、RoboCasa などのベンチマーク。 - 関連手法として Vision-Language-Action (VLA) モデル全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jisoo Kim, Jungbin Cho, Sanghyeok Chu, Ananya Bal, Jinhyung Kim, Gunhee Lee, Sihaeng Lee, Seung Hwan Kim, Bohyung Han, Hyunmin Lee, Laszlo A. Jeni, Seungryong Kim

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Humans learn not only how their bodies move, but also how the surrounding world responds to their actions. In contrast, while recent Vision-Language-Action (VLA) models exhibit impressive semantic understanding, they often fail to capture the spatiotemporal dynamics governing physical interaction. In this paper, we introduce Pri4R, a simple yet effective approach that endows VLA models with an implicit understanding of world dynamics by leveraging privileged 4D information during training. Specifically, Pri4R augments VLAs with a lightweight point track head that predicts 3D point tracks. By injecting VLA features into this head to jointly predict future 3D trajectories, the model learns to incorporate evolving scene geometry within its shared representation space, enabling more physically aware context for precise control. Due to its architectural simplicity, Pri4R is compatible with dominant VLA design patterns with minimal changes. During inference, we run the model using the original VLA architecture unchanged; Pri4R adds no extra inputs, outputs, or computational overhead. Across simulation and real-world evaluations, Pri4R significantly improves performance on challenging manipulation tasks, including a +10% gain on LIBERO-Long and a +40% gain on RoboCasa. We further show that 3D point track prediction is an effective supervision target for learning action-world dynamics, and validate our design choices through extensive ablations. Project page: https://jiiiisoo.github.io/Pri4R/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI