日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.14586

SoftNav: 3DシーントークンをVLMに注入する身体化ナビゲーション

SoftNav: Injecting 3D Scene Tokens into VLMs for Embodied Navigation

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーン情報をテキストではなくソフトトークンとしてVLMに直接注入するナビゲーション手法を提案し、少ない学習データで高い性能とゼロショット転移を実現した。

詳しい要約

1. どんなもの?

SoftNavは、目標指向の具現化ナビゲーション(embodied navigation)タスクにおいて、3Dシーン情報をVision-Language Model (VLM)に直接注入する手法を提案する。具体的には、検出されたオブジェクトやフロンティアごとに1トークンずつ、エンティティレベルの3D連続表現を軽量プロジェクタを介してVLMの隠れ空間にソフトトークンとして注入する。3DエンコーダとVLMは凍結したまま、約1,200サンプルと約17Mのトレーニング可能パラメータのみで学習する。HM3D-OVONでSR 74.2%/68.3%/66.7%を達成し、既存手法を上回る。さらに、GOAT-Bench、SG3D、実世界ロボットへのゼロショット転送が可能である。

2. 先行研究と比べてどこがすごい?

従来手法は3Dシーン情報をテキストに変換してVLMに渡していたが、表現ギャップがあることを示した。SoftNavは、テキストではなく埋め込みレベルの直接転送により、このギャップを埋める。制御されたアブレーションで、直接埋め込み転送がテキスト直列化形式よりも大幅に優れることを確認した。また、わずかなデータとパラメータで高い性能を達成し、ゼロショット転送も可能である点が先行研究より優れている。

3. 技術・手法の肝は?

手法の核は、3Dシーン内の各エンティティ(オブジェクトやフロンティア)を連続ベクトルとして表現し、それを軽量プロジェクタでVLMの埋め込み空間にマッピングしてソフトトークンとして注入すること。3DエンコーダとVLMは凍結し、プロジェクタのみを学習する。これにより、テキスト化による情報損失を避け、VLMの推論能力を直接活用する。

4. どうやって有効だと検証した?

HM3D-OVONデータセットの3つのスプリットでSRとSPLを評価し、全スプリットで既存手法を上回った。また、GOAT-Bench(67.2% SR)、SG3D(47.2% s-SR)、実世界ロボット展開へのゼロショット転送を検証し、再トレーニングやアーキテクチャ変更なしで機能することを示した。さらに、テキスト直列化との比較アブレーションも実施した。

5. 議論はある?

要旨からは、SoftNavの限界や潜在的な問題についての議論は不明。ただし、テキスト表現との比較で埋め込み転送の優位性を示す一方、テキスト形式の種類によっては性能差がある可能性が示唆される。また、約1,200サンプルという少量データで学習可能であるが、データセットの多様性やスケールに関する議論は要旨にない。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、Object Goal Navigationのベースライン手法(例:Semantic Exploration)や、VLMをナビゲーションに活用する手法(例:LM-Nav)が考えられる。また、3Dシーン理解とVLMの統合に関する研究(例:ConceptFusion)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Wu, Junjie An, Xiao Liu, Yiqun Zhou, Yuechen Wu, Xiaoqing Guan, Shuyang Yu, You Wang, Guang Li

分類: cs.RO

原文アブストラクト

In goal-directed embodied navigation, where an agent must locate a specified target in an unseen environment, 3D scene understanding and navigation reasoning must work in concert. Current approaches transmit 3D scene information to vision-language models (VLMs) through text, suggesting a representation gap in our tested configurations; a controlled ablation confirms that direct embedding-level transfer significantly outperforms the evaluated text serialization formats. We introduce SoftNav, which injects entity-level 3D continuous representations -- one token per detected object or frontier -- into a VLM's hidden space as soft tokens through a lightweight projector. With the 3D encoder and VLM frozen, only ~1,200 samples and ~17M trainable parameters are needed. On HM3D-OVON, SoftNav achieves 74.2%/68.3%/66.7% SR across three splits, surpassing all prior methods in both SR and SPL; the same navigation policy transfers zero-shot to GOAT-Bench (67.2% SR), SG3D (47.2% s-SR), and real-world robot deployment without retraining or architectural modification. Injecting 3D scene tokens directly into VLMs bridges the representation gap, enabling transferable navigation with minimal training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI