日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.12622

D3D-VLP: 動的3D視覚言語計画モデルによる身体性グラウンディングとナビゲーション

D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation

シェア:XThreadsFacebookLINEはてブBluesky

単一の3D視覚言語モデルとChain-of-Thoughtで計画・グラウンディング・ナビゲーション・質問応答を統合し、断片的な教師信号から相互補強的に学習する手法を提案。複数ベンチマークで最先端を達成。

詳しい要約

1. どんなもの?

- 身体性エージェント向けの Dynamic 3D Vision-Language-Planning Model (D3D-VLP) を提案する研究 - planning・grounding・navigation・question answering を単一の 3D-VLM と CoT パイプラインで統合するモデル - 大規模な hybrid データ(10M サンプル、5K real scans、20K synthetic scenes)を構築 - RL や DAgger などの online learning と互換なデータ設計を意図

2. 先行研究と比べてどこがすごい?

- end-to-end モデルは解釈性と明示的 3D 推論に欠ける一方、modular システムは構成要素間の相互依存・相乗効果を無視するというジレンマを指摘 - このギャップを埋めるため、単一 3D-VLM と CoT で複数タスクを統合する点が差分 - 部分的注釈付き hybrid データから学習する SLFS により、CoT 構成要素間の相互強化・暗黙的監督を狙う - 複数 benchmark で state-of-the-art を達成したと主張

3. 技術・手法の肝は?

- Dynamic 3D Chain-of-Thought (3D CoT): planning・grounding・navigation・QA を単一の 3D-VLM と CoT パイプラインに統合 - Synergistic Learning from Fragmented Supervision (SLFS): masked autoregressive loss を用い、大規模かつ部分的注釈の hybrid データから学習 - SLFS により異なる CoT 構成要素が相互に強化し、暗黙的に相互監督する仕組み - 5K real scans と 20K synthetic scenes から 10M hybrid サンプルを構築し、RL・DAgger 等の online learning に対応

4. どうやって有効だと検証した?

- Vision-and-Language Navigation の R2R-CE、REVERIE-CE、NavRAG-CE で評価 - Object-goal Navigation の HM3D-OVON で評価 - Task-oriented Sequential Grounding and Navigation の SG3D で評価 - 複数 benchmark で state-of-the-art を達成し、実世界の mobile manipulation 実験でも有効性を確認したと報告

5. 議論はある?

- 要旨からは不明(具体的な limitation や失敗事例、ablation の議論は記述されていない) - end-to-end と modular のジレンマに対する統合アプローチの有効性を主張 - SLFS による構成要素間の相互強化・暗黙的監督の効果を主張 - 実世界 mobile manipulation での有効性にも言及

6. 次に読むべき論文は?

- 比較対象として言及される end-to-end モデルおよび modular systems の代表的研究 - Vision-and-Language Navigation の R2R-CE、REVERIE-CE、NavRAG-CE 関連研究 - Object-goal Navigation の HM3D-OVON 関連研究 - Task-oriented Sequential Grounding and Navigation の SG3D 関連研究 - online learning 手法である RL および DAgger 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihan Wang, Seungjun Lee, Guangzhao Dai, Gim Hee Lee

分類: cs.CV, cs.RO

原文アブストラクト

Embodied agents face a critical dilemma that end-to-end models lack interpretability and explicit 3D reasoning, while modular systems ignore cross-component interdependencies and synergies. To bridge this gap, we propose the Dynamic 3D Vision-Language-Planning Model (D3D-VLP). Our model introduces two key innovations: 1) A Dynamic 3D Chain-of-Thought (3D CoT) that unifies planning, grounding, navigation, and question answering within a single 3D-VLM and CoT pipeline; 2) A Synergistic Learning from Fragmented Supervision (SLFS) strategy, which uses a masked autoregressive loss to learn from massive and partially-annotated hybrid data. This allows different CoT components to mutually reinforce and implicitly supervise each other. To this end, we construct a large-scale dataset with 10M hybrid samples from 5K real scans and 20K synthetic scenes that are compatible with online learning methods such as RL and DAgger. Our D3D-VLP achieves state-of-the-art results on multiple benchmarks, including Vision-and-Language Navigation (R2R-CE, REVERIE-CE, NavRAG-CE), Object-goal Navigation (HM3D-OVON), and Task-oriented Sequential Grounding and Navigation (SG3D). Real-world mobile manipulation experiments further validate the effectiveness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI