日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2609.32224

RAO-Nav: 統合言語モデルによるゼロショット音声視覚ナビゲーションの探求

RAO-Nav: Probing Omni-Language Models for Zero-shot Semantic Audio-Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

音声と視覚を統合した大規模言語モデルをゼロショットの音声視覚ナビゲーションに適用し、学習データなしで既存手法を上回る性能を実現した。

詳しい要約

1. どんなもの?

- 本論文は、Omni-Language Models (OLMs) を zero-shot Semantic Audio-Visual Navigation (SAVN) に直接適用できるかを探求する。 - 提案手法 RAO-Nav (Reasoning All-in-One OLM) は、OLM に埋め込まれた暗黙的な audio-visual 知識を活用し、embodied agent が環境内で「hear」「see」「reason」「act」することを可能にする deployment pipeline である。 - さらに、test-time Latent Navigation Reasoning (LNR) モジュールを提案し、OLM の組み込み思考能力を引き出して、目標に関連する観測を取得し効果的なナビゲーション決定を行う。 - 公開 SAVN ベンチマークで既存の state-of-the-art ベースラインを訓練データなしで上回ることを示す。 - また、OLM が embodied navigation agent として機能する能力を評価するための新しい Globa…

2. 先行研究と比べてどこがすごい?

- 最近の研究では、state-of-the-art の specialized models でさえ、広範なタスク固有の訓練にもかかわらず、generalist multimodal navigation を達成するのに苦労することが示されている。 - 本論文の RAO-Nav は、OLM の豊富な暗黙的 audio-visual 知識を活用することで、訓練データを一切使用せずに zero-shot SAVN を実現する。 - 公開 SAVN ベンチマークにおいて、既存の state-of-the-art ベースラインを上回る性能を達成した。 - さらに、Global Navigation Instruction 設定を新たに導入し、OLM の embodied navigation agent としての能力評価を拡張した。

3. 技術・手法の肝は?

- RAO-Nav は、Omni-Language Models (OLMs) を zero-shot SAVN に適用するための deployment pipeline である。 - OLM にエンコードされた暗黙的な audio-visual 知識を利用し、embodied agent が「hear」「see」「reason」「act」することを可能にする。 - test-time Latent Navigation Reasoning (LNR) モジュールを提案し、OLM の組み込み思考能力を引き出す。 - LNR は decoding space にシームレスに統合でき、モデルが目標に関連する観測を取得し、効果的なナビゲーション決定を行うことを促す。 - 訓練データを必要とせず、zero-shot で動作する。

4. どうやって有効だと検証した?

- 公開 SAVN ベンチマークを用いた包括的な実験を実施。 - 訓練データを一切使用せずに、既存の state-of-the-art ベースラインを上回る性能を示した。 - さらに、新しい Global Navigation Instruction 設定を導入し、OLM が embodied navigation agent として機能する能力を評価した。 - コードは https://github.com/rikeilong/OmniAV_Nav で公開されている。

5. 議論はある?

- 要旨からは、OLM を zero-shot SAVN に適用する際の限界や課題についての具体的な議論は不明。 - 提案手法が訓練データなしで state-of-the-art を上回る一方、OLM の暗黙的知識の限界や、より複雑な環境への一般化可能性については言及されていない。 - Global Navigation Instruction 設定の導入により、OLM の embodied navigation agent としての能力評価を試みているが、その結果の詳細や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として specialized models for SAVN、generalist multimodal navigation、Omni-Language Models (OLMs) が挙げられる。 - 同分野の定番として、Semantic Audio-Visual Navigation (SAVN) のベンチマークや、embodied navigation における zero-shot 手法(例: CLIP や GPT-4 を活用したナビゲーション)が考えられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qilang Ye, Meng Liu, Yu Zhou

分類: cs.AI

原文アブストラクト

We explore whether Omni-Language Models (OLMs) can be directly applied to zero-shot Semantic Audio-Visual Navigation (SAVN). Recent work demonstrates that even state-of-the-art specialized models still struggle to achieve generalist multimodal navigation, despite extensive task-specific training. In this paper, we introduce RAO-Nav, short for Reasoning All-in-One OLM, a deployment pipeline for zero-shot SAVN. By leveraging the rich implicit audio-visual knowledge encoded in OLMs, the embodied agent is enabled to ``hear'', ``see'', ``reason'', and ``act'' in the environment. To further elicit the built-in thinking ability of OLMs, we propose a test-time Latent Navigation Reasoning (LNR) module that can be seamlessly integrated into the decoding space. LNR encourages the model to retrieve more target-relevant observations and make effective navigation decisions. Through comprehensive experiments, we show that our framework surpasses existing state-of-the-art baselines on public SAVN benchmarks without using any training data. Moreover, we introduce a new \emph{Global Navigation Instruction} setting to further evaluate the ability of OLMs to serve as embodied navigation agents. Code: https://github.com/rikeilong/OmniAV\_Nav.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI