指示からイベントへ：音トリガー型モバイルマニピュレーション
From Instruction to Event: Sound-Triggered Mobile Manipulation
音を発する物体を自律的に検知・操作する「音トリガー型モバイルマニピュレーション」を提案し、音響レンダリングと物理操作を統合したデータ基盤Habitat-Echoとベースライン手法を開発した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Hao Ju, Shaofei Huang, Hongyu Li, Zihan Ding, Si Liu, Meng Wang, Zhedong Zheng
分類: cs.RO, cs.CV
原文アブストラクト
Current mobile manipulation research predominantly follows an instruction-driven paradigm, where agents rely on predefined textual commands to execute tasks. However, this setting confines agents to a passive role, limiting their autonomy and ability to react to dynamic environmental events. To address these limitations, we introduce sound-triggered mobile manipulation, where agents must actively perceive and interact with sound-emitting objects without explicit action instructions. To support these tasks, we develop Habitat-Echo, a data platform that integrates acoustic rendering with physical interaction. We further propose a baseline comprising a high-level task planner and low-level policy models to complete these tasks. Extensive experiments show that the proposed baseline empowers agents to actively detect and respond to auditory events, eliminating the need for case-by-case instructions. Notably, in the challenging dual-source scenario, the agent successfully isolates the primary source from overlapping acoustic interference to execute the first interaction, and subsequently proceeds to manipulate the secondary object, verifying the robustness of the baseline.
関連論文
- MOMASPLAT: モバイルマニピュレーションのための動的な新規視点デモンストレーション拡張モバイルマニピュレーション
- 長期モバイルマニピュレーションにおける環境・プロセス記憶ベンチマークモバイルマニピュレーション
- Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステムモバイルマニピュレーション
- FEIJOA: モバイルマニピュレーションのためのタスク駆動型グラウンディングと実行モバイルマニピュレーション
- 階層型残差方策学習による実世界モバイルマニピュレーションの疎な人間ガイダンスモバイルマニピュレーション
- モバイルマニピュレーションの突破口：失敗診断からエージェント型ロボットシステムへモバイルマニピュレーション
