日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.03920

LH-AVLN: 長時間音声・視覚・言語ナビゲーションのベンチマーク

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

複数目標と空間化された音響手がかりを組み合わせた長時間ナビゲーションのベンチマークを提案し、音声を活用した参照エージェントPAG-Navを開発して評価した。

詳しい要約

1. どんなもの?

LH-AVLNは、Long-Horizon Audio-Visual-Language Navigationのベンチマークであり、複数目標のミッション実行、異種目標指定、持続的な空間化された音響キューを組み合わせる。エージェントは、カテゴリ、言語記述、参照画像で指定された2〜4目標のグローバルミッションを受け取り、屋内3D環境でRGB-D観測、ポーズ、バイノーラル音声を用いてナビゲートする。順序付きおよび順序なしのミッションをサポートし、目標に関連する音が非視線探索を導くが、ミッション進行に伴い妨害刺激にもなり得る。

2. 先行研究と比べてどこがすごい?

既存の長期ホライズンベンチマークは音響的に無音であり、音声視覚ナビゲーションタスクは単一目標に焦点を当てている。LH-AVLNは、複数目標、異種目標指定、持続的な空間化音響を統合することで、これらのギャップを埋める。

3. 技術・手法の肝は?

PAG-Navは、トレーニング不要の参照エージェントであり、時間的一様なセマンティックマップを維持し、段階的な目標状態計画を行う。音を使用して探索し、視覚的セマンティック検証のために完了を予約する。

4. どうやって有効だと検証した?

既存のビジョン言語、メモリベース、音声視覚エージェントがLH-AVLNミッション全体を完了するのに苦労することを実験で示し、PAG-Navがより強力な診断ベースラインを提供するが、将来の進歩の余地は大きい。

5. 議論はある?

要旨からは、PAG-Navは診断ベースラインとして機能するが、完全なミッション完了にはまだギャップがあることが示唆される。音が妨害刺激となる可能性や、異種目標指定の複雑さについての議論が考えられるが、詳細は不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、既存のvision-language、memory-based、audio-visual agentsである。具体的な論文名は不明だが、同分野の定番として、Audio-Visual Navigation (AVN)やVision-Language Navigation (VLN)のベンチマークが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

分類: cs.RO

原文アブストラクト

Embodied navigation is moving toward long-horizon missions, yet existing long-horizon benchmarks are largely acoustically silent, and audio-visual navigation tasks typically focus on a single goal. We introduce LH-AVLN, a benchmark for Long-Horizon Audio-Visual-Language Navigation that combines multi-goal mission execution, heterogeneous goal specifications, and persistent spatialized acoustic cues. In LH-AVLN, an agent receives a global mission of two to four goals specified by category, language description, or reference image, and navigates with RGB-D observations, pose, and binaural audio in indoor 3D environments. The benchmark supports both ordered and unordered missions, where alternating goal-associated sounds can guide non-line-of-sight search but may also become distractors as mission progress changes. We further develop PAG-Nav, a training-free reference agent that maintains a temporal uniform semantic map and performs progressive goal-state planning, using sound for search while reserving completion for visual-semantic verification. Experiments show that existing vision-language, memory-based, and audio-visual agents struggle to complete full LH-AVLN missions, and that PAG-Nav provides a stronger diagnostic baseline while leaving substantial room for future progress.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI