日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.13110

音声視覚ナビゲーションのためのハイブリッドMamba

A Hybrid Mamba for Audio-Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

従来のCNNやRNNに代わり、Mambaベースのエンコーダを用いて音声と視覚の動的マルチモーダル系列を効率的に表現し、ナビゲーション成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本論文は、音声-視覚ナビゲーション(Audio-Visual Navigation)のための新しいハイブリッドバックボーンネットワークであるSambaを提案している。従来のCNNとRNNを中心としたパラダイムを刷新し、Mamba State Encoder (M-SE)とAudio Mamba Encoder (AME)を導入することで、動的なマルチモーダルシーケンスの効率的な表現を実現する。

2. 先行研究と比べてどこがすごい?

従来の手法は、2020年以降、CNNとRNN(特にGRU)を基盤としており、5年以上本質的な変化がなかった。Sambaは、GRUをMamba State Encoder (M-SE)に置き換え、スペクトログラムの大域的な時間周波数依存性を捉えるためにAudio Mamba Encoder (AME)を新たに構築した点が革新的である。これにより、未聞の音源や未見のシーンに対する汎化性能が向上し、Matterport3DデータセットでSRを11.3%改善、Replicaデータセットではさらに顕著な改善を示した。

3. 技術・手法の肝は?

Sambaは、適応的選択が可能なMamba State Encoder (M-SE)を用いて時間的集約を行い、従来のGRUを置き換える。また、Audio Mamba Encoder (AME)を構築し、畳み込み演算子の限界を補ってスペクトログラムの大域的な時間周波数依存性を捉える。これにより、低い計算コストで強力な身体化表現能力を実現する。

4. どうやって有効だと検証した?

Matterport3DデータセットとReplicaデータセットを用いて実験を行い、未聞の音源と未見のシーンに対する汎化性能を評価した。Matterport3Dでは、既存の最先端モデルと比較してナビゲーション成功率(SR)を11.3%向上させた。Replicaデータセットでは、より細かいシーン構造を持つため、性能向上はさらに顕著であった。

5. 議論はある?

要旨からは、Sambaの提案が従来のパラダイムを刷新し、低い計算コストで高い性能を達成したことが示されているが、具体的な議論や限界については言及されていない。例えば、他のデータセットや実環境での性能、計算コストの詳細な比較、Mambaアーキテクチャの理論的な裏付けなどは不明である。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、CNNとRNNを中心とした従来の音声-視覚ナビゲーション手法(具体的な論文名は不明)である。また、Mambaアーキテクチャ自体の基礎論文(Mamba: Linear-Time Sequence Modeling with Selective State Spaces)や、音声-視覚ナビゲーションの定番手法(例:AV-Nav, Audio-Visual Navigation with Transformers)が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Wang, Yinfeng Yu

分類: cs.LG, cs.AI, eess.SP

原文アブストラクト

Since the paradigm centered on convolutional neural networks and recurrent architectures was established in 2020, the fundamental backbone networks for audio-visual navigation have undergone no essential changes for more than five years, making them inadequate to support efficient representation of dynamic multimodal sequences. This paper proposes Samba(A Hybrid Mamba for Audio-Visual Navigation). It uses the adaptive selection-enabled Mamba State Encoder (M-SE) to replace conventional GRUs for temporal aggregation, and constructs an Audio Mamba Encoder (AME) to remedy the limitations of convolutional operators in capturing global time-frequency dependencies in spectrograms. Experiments demonstrate that Samba exhibits exceptional generalization performance when facing unheard sound sources and unseen scenes. On the Matterport3D dataset, it improves the navigation success rate (SR) by 11.3\% compared with existing state-of-the-art models, and the performance gain is even more pronounced on the Replica dataset, which features finer scene structures. Such modernized architectural reconstruction unlocks stronger embodied representation capabilities at a lower computational cost, thereby providing a highly robust technical pathway for paradigm evolution in the field of audio-visual navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI