日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.16313

聴いてから行動せよ:音声条件付きロボットマニピュレーションListenVLA

Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA

シェア:XThreadsFacebookLINEはてブBluesky

音声を条件にロボットのマニピュレーションを行うVLAモデルListenVLAを提案し、音に基づく目標選択や聴覚イベントへの反応などを評価するベンチマークLIBERO-Audioを構築した。

詳しい要約

1. どんなもの?

- 音声条件付きのロボットマニピュレーション方針 ListenVLA を提案 - 視覚と言語だけでなく聴覚的手がかりを必要とするタスクに対応 - GR00T N1.7 を基盤とした VLA (Vision-Language-Action) モデル - 意味的音声埋め込みと波形由来の音響的手がかりを統合 - 因果的音声履歴上で連続行動生成を条件付ける - LIBERO-Audio ベンチマークと実世界3タスクで評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は視覚と言語に依存し聴覚的手がかりを扱いにくい - 視覚から推論困難で物理的相互作用により引き出される音声情報に対応 - 音声トークンと特徴変調で行動生成を条件付ける点が新しい - audio-action binding 目的関数を導入し音声差と行動差を結びつける - LIBERO-Audio という音声ベースの8タスクベンチマークを新規構築

3. 技術・手法の肝は?

- GR00T N1.7 を基盤に音声条件付き VLA 方針を構築 - 意味的音声埋め込みと波形由来の音響的手がかりを統合 - 因果的音声履歴上で音声トークンと特徴変調により行動生成を条件付け - audio-action binding 目的関数を導入 - 文脈一致した実演で音声差と行動差を関連付け - 共有 pure-noise 行動入力と固定非音声観測の下で - 異なる音声条件間の flow-velocity 予測の短期差を監督 - 全チャンク行動監督と併用

4. どうやって有効だと検証した?

- LIBERO-Audio の8タスクで実験 - 実世界マニピュレーション3タスクで実験 - 音声ベースの目標選択、聴覚イベントへの応答、音響的証拠を明かす物理的相互作用をカバー - 優れた性能を示す - アブレーションで binding 監督と音声変調の寄与を支持 - audio swap テストで音声が行動予測に影響することを確認

5. 議論はある?

- アブレーションは binding 監督と音声変調の貢献を支持 - audio swap テストは音声が行動予測に影響することを示す - 限界や失敗事例、計算コスト、汎化性に関する議論は要旨からは不明 - 実世界タスクの詳細条件や被験者評価は要旨からは不明

6. 次に読むべき論文は?

- GR00T N1.7 (基盤モデル) - VLA (Vision-Language-Action) モデル全般 - LIBERO-Audio (本論文のベンチマーク) - flow matching に基づく行動生成手法 - 音声条件付きロボットマニピュレーションの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaqi Fan, Rui Xu, Jiakun Xia, Xuyu Fan, Shuailei Ma, Yuefeng Wang, Qing Wang, Jiarui Zhang, Yili Fu, Xu Li

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models have advanced robotic manipulation by connecting visual perception and language instructions to action generation. However, many manipulation tasks depend on auditory cues that cannot be reliably inferred from visual observations and may need to be elicited through physical interaction. To address this gap, we present ListenVLA, an audio-conditioned VLA policy built on GR00T N1.7 for sound-guided manipulation. ListenVLA combines semantic audio embeddings with waveform-derived acoustic cues over a causal audio history and conditions continuous action generation through audio tokens and feature modulation. Moreover, we introduce an audio-action binding objective that uses context-matched demonstrations to link auditory differences to demonstrated action differences. The objective supervises short-horizon differences between flow-velocity predictions under different audio conditions, with shared pure-noise action inputs and fixed non-audio observations, alongside full-chunk action supervision. Furthermore, we develop LIBERO-Audio, an eight-task benchmark covering sound-based target selection, responses to auditory events, and physical interactions that reveal acoustic evidence. Experiments on LIBERO-Audio and three real-world manipulation tasks show excellent performance. Ablation studies support the contributions of binding supervision and audio modulation, while audio swap tests show that sound influences action predictions. Our code and videos are available at https://anonymous.4open.science/r/listenvla-F18D

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI