視覚・音・言語・行動パラダイムに向けて：音中心操作のためのHEARフレームワーク

- Vision-Sound-Language-Action (VSLA) という、vision・streaming audio・language・proprioception を条件とし、遅延のある意思決定ループ下で連続制御を行うパラダイムを定式化した研究。 - その具体化として HEAR フレームワークを提案。リアルタイムの環境音を状態検証に用いる sound-centric manipulation を目指す。 - 従来の VLA が音を静的な事前プロンプトや人間の speech に限定していたのに対し、実行中の音響イベントを扱う点が特徴。

- 従来の VLA は音を pre-execution prompt として固定的に扱うか、human speech のみに注目していた。 - 低頻度更新や system latency により重要な音を取り逃しやすく、action chunking と open-loop execution による Blind Execution Interval で音響イベントが失われる問題があった。 - HEAR は streaming audio を継続的に取り込み、causal persistence と明示的な temporal learning を導入することでこのギャップに対処する。

- (i) streaming Historizer: 実行ギャップをまたいで compact で causal な audio context を維持。 - (ii) Envisioner: omni foundation models を適応し、multi-sensory 入力を推論。 - (iii) Advancer: audio world model として near-future audio codes を予測し temporal dynamics を学習。 - (iv) Realizer: flow-matching ポリシーで滑らかな action chunks を生成。 - データ不足に対応するため OpenX-Sound を pretraining 用に構築。

- HEAR-Bench を構築。sound-centric manipulation の最初のベンチマークで、厳密な causal timing rules を備える。 - 結果は、堅牢な sound-centric manipulation には causal persistence と明示的な temporal learning が必要であることを示唆。 - コードと動画は https://hear.irmv.top で公開。

- 要旨からは不明。ただし、VSLA の pretraining data と評価の不足が指摘され、OpenX-Sound と HEAR-Bench で対処している。 - 堅牢な sound-centric manipulation には causal persistence と explicit temporal learning が不可欠という示唆が議論の中心。

- 要旨で参照/比較されている研究: Vision-Language-Action (VLA) models、omni foundation models、flow-matching、audio world model。 - 関連手法: OpenX-Sound、HEAR-Bench。 - 同分野の定番として、Vision-Language-Action モデルや audio-language モデル、embodied agents 向け multi-sensory foundation models の論文を次に読むべき。