S2A2: 音響空間情報を用いた操作タスクのための視聴覚模倣学習
S2A2: Audio-Visual Imitation Learning for Manipulation Tasks Using Acoustic Spatial Information
音響情報を活用した操作タスクを新たに定義し、視覚特徴と音響空間・信号情報を統合する模倣学習フレームワークS2A2を提案した。シミュレーションと実機実験で有効性を検証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kaneyoshi Hiratsuka, Benjamin Yen, Ryosuke Kojima
分類: cs.RO
原文アブストラクト
Acoustic information provides rich cues about object location, material properties, and changes caused by contact or motion. This paper introduces a new set of acoustic-aware manipulation tasks for imitation learning, in which robots must use auditory cues to determine manipulation targets. These tasks require sound source localization and identification for active exploration in robotic manipulation. Also, we propose a multimodal imitation learning framework, Spatial-Spectral Audio Action (S2A2), that integrates visual features with acoustic spatial and acoustic signal information for the acoustic-aware manipulation tasks. We implemented S2A2 models that integrates policies such as ACT, Diffusion Policy, VQ-BeT, and $\pi_0$, into our framework. Simulation experiments showed that the proposed method is the most effective for tasks requiring both position and timbre. Furthermore, real-robot experiments confirm the applicability of the proposed tasks and framework to real-world manipulation.
関連論文
- AdaTempo: 実演から共有相対テンポを学習しロボット操作を高速化模倣学習/マニピュレーション
- 見て切り替える：視覚に基づく分岐による対話型ロボットスキルプログラミング模倣学習/マニピュレーション
- 幾何制約付きリズム軌道学習によるレーザースキンケア施術の自動化模倣学習/マニピュレーション
- 分布に戻れ：リターン・トゥ・ディストリビューション計画によるロバスト模倣模倣学習/マニピュレーション
- 環境制約下での模倣学習のためのデータ拡張模倣学習/マニピュレーション
- 多視点から見る：接触の多いタスクのための模倣学習による多視点マニピュレーションポリシー模倣学習/マニピュレーション
