日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.04436

3DThinkVLA: 潜在3D事前知識を3D思考誘導共学習で視覚言語行動モデルに付与する

3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動(VLA)モデルに、3D幾何知覚と3D空間推論を分離して潜在空間に注入する共学習フレームワークを提案し、推論時の追加テキスト生成なしに暗黙的な3D空間推論を可能にする。

詳しい要約

1. どんなもの?

3DThinkVLAは、Vision-Language-Action (VLA) モデルに潜在的な3D事前知識を注入し、行動予測中に暗黙的な3D空間推論を可能にする3D-thinking-guided co-trainingフレームワーク。3D幾何知覚と3D空間推論を分離し、異なる特徴階層に注入する。展開時は軽量アダプタのみを保持し、3D基盤モデルや教師分岐を破棄。2D画像のみで動作し、3Dセンサや外部モデル、明示的なテキスト生成を必要としない。LIBERO、LIBERO-PLUS、SimplerEnv、実世界操作タスクで最先端性能を達成。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは3D空間推論を明示的に行うために3Dセンサや外部モデル、chain-of-thoughtテキスト生成に依存することが多かった。本手法は、3D幾何知覚と3D空間推論を分離し、潜在空間で暗黙的に注入することで、展開時に2D画像のみで動作し、事前学習済みVLMの破滅的忘却を防ぎつつ、最先端性能を実現する点が優れている。

3. 技術・手法の肝は?

訓練時に3つの結合コンポーネントが主に潜在空間で協調する。(1) 潜在3D幾何知覚モジュール:中間視覚特徴を3D基盤モデルに整合させ、VLMバックボーンを変更せず低レベル幾何手がかりを獲得。(2) オンライン3D推論蒸留モジュール:共有reasoning anchor tokenを介してプロンプト誘導推論ギャップを緩和。3D VLM共訓練時は最初の出力トークンとして空間事前知識を符号化し、VLA訓練時はタスクと行動指示の間に挿入される入力トークンとして、明示的教師推論プロンプトから学生行動プロンプトへ高レベル空間思考を転移(chain-of-thoughtテキスト生成なし)。(3) 空間拡張行動統合:分離された幾何特徴と推論特徴を行動クエリトークンに階層的空间条件として注入し、行動ショートカットを防止。

4. どうやって有効だと検証した?

LIBERO、LIBERO-PLUS、SimplerEnv、および実世界操作タスクにおいて最先端性能を達成したと要旨に記載。具体的な実験設定や比較手法の詳細は要旨からは不明。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、Vision-Language-Action (VLA) モデル、3D基盤モデル、chain-of-thought推論、知識蒸留、LIBEROベンチマークなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Shi, Xidong Zhang, Fucai Zhu, Zhe Li, Siyu Zhu, Weihao Yuan

分類: cs.CV, cs.RO

原文アブストラクト

We propose a 3D-thinking-guided co-training framework that enables vision-language-action (VLA) models to perform 3D spatial reasoning implicitly during action prediction. Our core insight is that 3D geometry perception and 3D spatial reasoning are distinct capabilities that can be disentangled and injected at different feature hierarchies. During training, three tightly coupled components work in concert primarily within the latent space: (1) To gain geometric priors, a latent 3D geometry perception module aligns intermediate visual features with a 3D foundation model, acquiring low-level geometric cues without architectural modifications to the VLM backbone. (2) Complementing this, an online 3D reasoning distillation module mitigates the prompt-induced reasoning gap via a shared reasoning anchor token. During 3D VLM co-training, this anchor is emitted as the first output token to robustly encode spatial priors. During VLA training, it serves as an input token inserted between the task and action instructions, transferring high-level spatial thinking from explicit teacher reasoning prompts to student action prompts without chain-of-thought text generation. (3) These disentangled geometric and reasoning features are then united by a spatially augmented action integration, which jointly injects them into the action-query tokens as hierarchical spatial conditions to prevent action shortcuts. At deployment, our method retains only its lightweight adapters to perform implicit 3D reasoning, discarding the 3D foundation model and the teacher branch used for supervision. Consequently, it operates purely on 2D images without 3D sensors, external models, or explicit text generation while preventing catastrophic forgetting of the pretrained VLM, achieving state-of-the-art performance on LIBERO, LIBERO-PLUS, SimplerEnv, and real-world manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI