日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.29416

3DVLA: 3次元空間・インスタンス理解による視覚言語行動モデルの強化

3DVLA: Enhancing Vision-Language-Action Models via 3D Spatial and Instance Understanding

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルに3次元空間理解とインスタンス理解を注入するプラグアンドプレイフレームワークを提案し、操作性能を向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action models (VLA) の3D scene understanding不足を補う plug-and-play framework「3DVLA」 - 3つの課題: 3D spatial position抽出の弱さ、3D instance understanding不足、occlusion下の推論脆弱性 - 追加の人手ラベル不要で pretrained VLA に3D reasoningを注入 - 複数のVLA baselineに統合可能

2. 先行研究と比べてどこがすごい?

- 既存の3D perception手法は architectural incompatibility と instance-level annotationへの依存でVLAに直接統合困難 - 3DVLAは追加ラベル不要でVLM priorsを保持したまま3D reasoningを注入 - 3つの課題を同時に扱う統合フレームワーク - plug-and-play互換性を複数baselineで実証

3. 技術・手法の肝は?

- pervasive 3D feature encoding: 全modalityでmulti-view consistency制約を明示 - Spatially-Conditioned Geometry Aggregation を導入 - instance estimation module: high-level instance tokensで3D instance awarenessを獲得 - masked self-supervised 3D encoding branch: predictorを保持しvisual token completionでocclusionに対処

4. どうやって有効だと検証した?

- 複数のVLA baselineに3DVLAを統合 - LIBERO-Plus と RoboTwin 2.0 で評価 - manipulation performanceが一貫して有意に向上 - plug-and-play互換性も確認

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、汎化性の議論は記載なし)

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として Vision-Language-Action models (VLA), 3D perception, masked self-supervised learning, LIBERO-Plus, RoboTwin 2.0 が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongyu Xia, Yousen Tang, Bingqing Wei, Yongtao Wang

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action models have achieved remarkable progress in robotic manipulation, yet they suffer from a critical limitation: a lack of 3D scene understanding. This deficiency manifests as three intertwined challenges: weak extraction of 3D spatial positions without enforcing multi-view consistency, inadequate 3D instance understanding, and fragile reasoning under occlusion. Although mature 3D perception methods exist, their direct integration into VLA pipelines is hindered by architectural incompatibility and by heavy reliance on costly instance-level annotations. To address the above challenges, we propose 3DVLA, a plug-and-play framework that injects robust 3D reasoning into pretrained VLAs without requiring extra manual labels or discarding VLM priors. Specifically, 3DVLA tackles the three challenges through: (1) pervasive 3D feature encoding with explicit multi-view consistency constraints across all modalities and a Spatially-Conditioned Geometry Aggregation method, (2) an instance estimation module with high-level instance tokens for 3D instance awareness, and (3) a masked self-supervised 3D encoding branch that retains its predictor for visual token completion to handle occlusions. We integrate 3DVLA with multiple VLA baselines and evaluate on LIBERO-Plus and RoboTwin 2.0. Results show consistent and significant gains in manipulation performance, validating both the effectiveness and plug-and-play compatibility of our approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI