日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.09961

BEACON: 遮蔽下での言語条件付きナビゲーション可能性予測

BEACON: Language-Conditioned Navigation Affordance Prediction under Occlusion

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの周囲の遮蔽領域を含む鳥瞰図上で、言語指示に基づく移動可能な目標位置を予測する手法を提案。視覚言語モデルと深度情報を融合し、従来の画像空間予測より高い精度を達成した。

詳しい要約

1. どんなもの?

- 言語条件付き局所ナビゲーションのための手法 BEACON を提案。 - ロボット周囲4方向の surround-view RGB-D 観測と open-vocabulary な関係指示から、遮蔽領域を含む局所領域の ego-centric Bird's-Eye View (BEV) affordance heatmap を予測。 - 家具や移動する人間による遮蔽下でも目標到達可能位置を推定することを狙う。

2. 先行研究と比べてどこがすごい?

- 既存の vision-language spatial grounding は VLM で画像空間推論し、可視ピクセルに紐づく2D予測を出すため遮蔽領域の目標位置推定が苦手。 - BEACON は画像空間ではなく BEV 空間で affordance heatmap を予測し、遮蔽領域も含む局所領域を扱う。 - 遮蔽された目標位置を含む validation subset で、state-of-the-art の image-space baseline に対し geodesic thresholds 平均精度を 22.74 percentage points 改善。

3. 技術・手法の肝は?

- surround-view RGB-D 観測と指示を入力とし、VLM に spatial cues を注入。 - VLM の出力と depth 由来の BEV features を fusion して BEV heatmap を予測。 - 各モジュールの設計選択と BEV 空間定式化を検証するため、Habitat simulator 上で occlusion-aware dataset を構築。

4. どうやって有効だと検証した?

- Habitat simulator で構築した occlusion-aware dataset を用いて詳細な実験分析を実施。 - BEV 空間定式化と各モジュールの設計選択を検証。 - 遮蔽された目標位置を含む validation subset で、geodesic thresholds 平均精度が image-space baseline より 22.74 percentage points 向上。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、BEV 空間定式化の妥当性、各モジュール設計の寄与、遮蔽下での性能、simulator から実環境への転移などが実験分析で扱われている可能性があるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で比較されている state-of-the-art の image-space baseline に関する研究。 - vision-language spatial grounding の既存手法。 - VLM を用いたナビゲーションや affordance prediction の関連研究。 - Habitat simulator を用いた言語条件付きナビゲーションのデータセット/ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Gao, Gang Chen, Javier Alonso-Mora

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Language-conditioned local navigation requires a robot to infer a nearby traversable target location from its current observation and an open-vocabulary, relational instruction. Existing vision-language spatial grounding methods usually rely on vision-language models (VLMs) to reason in image space, producing 2D predictions tied to visible pixels. As a result, they struggle to infer target locations in occluded regions, typically caused by furniture or moving humans. To address this issue, we propose BEACON, which predicts an ego-centric Bird's-Eye View (BEV) affordance heatmap over a bounded local region including occluded areas. Given an instruction and surround-view RGB-D observations from four directions around the robot, BEACON predicts the BEV heatmap by injecting spatial cues into a VLM and fusing the VLM's output with depth-derived BEV features. Using an occlusion-aware dataset built in the Habitat simulator, we conduct detailed experimental analysis to validate both our BEV space formulation and the design choices of each module. Our method improves the accuracy averaged across geodesic thresholds by 22.74 percentage points over the state-of-the-art image-space baseline on the validation subset with occluded target locations. Our project page is: https://xin-yu-gao.github.io/beacon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI