OmniEcho: 身体性エージェントのための空間音響理解

- 本論文は、embodied agents のための spatial audio understanding を扱う。 - 統一ベンチマーク OmniEchoBench を導入。 - 6 タスク、197 の実世界 spatial audio-visual シーン、2,972 の QA ペア、900 のナビゲーションサンプル。 - first-order ambisonics (FOA) 音声を 30 の実環境で収集。 - 空間音響対応の omni-modal モデル OmniEcho を提案。 - FOA spatial encoder と pretrained semantic audio pathway を導入。 - 実験で spatial audio-visual perception の SOTA を達成。 - sound-guided navigation では traditional vision-language navigation に近い性能。

- 従来、embodied 設定での spatial audio understanding の評価・モデル化は不明確だった。 - 本論文は統一ベンチマーク OmniEchoBench を提供し、このギャップを埋める。 - 実世界の FOA 音声を含む大規模データセットを構築。 - 制御可能な spatial audio rendering pipeline を開発し、スケーラブルな訓練監督を可能に。 - OmniEcho は spatial audio-visual perception で SOTA を達成。 - sound-guided navigation で vision-language navigation に匹敵する性能を示す。

- OmniEchoBench は 6 タスク、197 シーン、2,972 QA、900 ナビゲーションサンプルを含む。 - 30 の実環境から first-order ambisonics (FOA) 音声を収集。 - 制御可能な spatial audio rendering pipeline を開発。 - 音源、視覚観測、エージェント軌跡間の幾何学的整合性を保持。 - OmniEcho モデルは FOA spatial encoder と pretrained semantic audio pathway を導入。 - これにより空間音響理解とナビゲーションを統合。

- 広範な実験を実施。 - OmniEcho は spatial audio-visual perception で state-of-the-art 性能を達成。 - sound-guided navigation では traditional vision-language navigation に近い性能レベルに到達。 - これらの結果から、spatial audio が embodied scene reasoning と navigation に有用な信号であることを示す。 - 同時に、fine-grained spatial localization と distance estimation が重要な未解決課題であることを明らかに。

- 結果は spatial audio が embodied scene reasoning と navigation に価値ある信号であることを示す。 - 一方で、fine-grained spatial localization と distance estimation は重要なオープンチャレンジとして残る。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、traditional vision-language navigation が挙げられる。 - 同分野の定番として、vision-language navigation (VLN) や audio-visual navigation の研究が次に読むべき候補。