日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

音声×LLMarXiv:2506.08524

音でLLMに物理的認識を教える

Teaching Physical Awareness to LLMs through Sounds

シェア:XThreadsFacebookLINEはてブBluesky

物理シミュレータで生成した音声QAデータセットと位相情報も扱う音声エンコーダを構築し、LLMにドップラー効果や到来方向推定などの物理的認識を獲得させるフレームワークACORNを提案した。

詳しい要約

1. どんなもの?

- LLMに音を通じて物理的認識(physical awareness)を教えるフレームワークACORNを提案 - Doppler effect、multipath effect、空間関係などの基礎物理現象を対象 - 物理ベースのシミュレータで多様な学習データを生成し、Audio Question-AnswerデータセットAQA-PHYを構築 - magnitudeとphaseの両方を扱うaudio encoderを提案し、SOTA LLMに接続 - line-of-sight detection、Doppler effect estimation、Direction-of-Arrival estimationで妥当な結果

2. 先行研究と比べてどこがすごい?

- LLMはtext/multimodal処理に優れるが物理的認識を欠く点を出発点に置く - 音を用いて物理現象の理解をLLMに付与する試みは本研究の位置づけ - データ不足に対し物理ベースシミュレータで実世界音源と制御された物理チャネルを組み合わせデータ生成 - magnitudeとphaseの両方を処理するaudio encoderを提案 - 具体的な先行研究名や比較数値は要旨からは不明

3. 技術・手法の肝は?

- 物理ベースのシミュレータ: 実世界のsound sourceと制御されたphysical channelを組み合わせ多様な学習データを生成 - AQA-PHY: 上記シミュレータで構築したAudio Question-Answerデータセット - audio encoder: magnitudeとphaseの両方の情報を処理 - このencoderをSOTA LLMに接続し、物理現象に関する推論を可能にする構成 - 対象現象はDoppler effect、multipath effect、空間関係

4. どうやって有効だと検証した?

- シミュレーション環境と実世界タスクの両方で評価 - 具体的タスクはline-of-sight detection、Doppler effect estimation、Direction-of-Arrival estimation - 結果は『reasonable results』と報告 - 定量指標やデータセット規模、被験者数などの詳細は要旨からは不明

5. 議論はある?

- 音による物理認識獲得がLLMの物理世界理解への道を開くという主張 - 限界や失敗事例、シミュレータと実世界のギャップに関する議論は要旨からは不明 - 実世界タスクの評価範囲や汎化性についての詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法としてDoppler effect、multipath effect、Direction-of-Arrival estimationに関する音響信号処理研究 - Audio Question-Answeringやaudio encoderとLLM接続に関するマルチモーダル研究 - 物理ベースシミュレータを用いたデータ生成に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weiguo Wang, Andy Nie, Wenrui Zhou, Yi Kai, Chengchen Hu

分類: cs.SD, cs.AI, cs.MM, cs.RO, eess.AS

原文アブストラクト

Large Language Models (LLMs) have shown remarkable capabilities in text and multimodal processing, yet they fundamentally lack physical awareness--understanding of real-world physical phenomena. In this work, we present ACORN, a framework that teaches LLMs physical awareness through sound, focusing on fundamental physical phenomena like the Doppler effect, multipath effect, and spatial relationships. To overcome data scarcity, ACORN introduce a physics-based simulator combining real-world sound sources with controlled physical channels to generate diverse training data. Using this simulator, we build AQA-PHY, a comprehensive Audio Question-Answer dataset, and propose an audio encoder that processes both magnitude and phase information. By connecting our audio encoder to state-of-the-art LLMs, we demonstrate reasonable results in both simulated and real-world tasks, such as line-of-sight detection, Doppler effect estimation, and Direction-of-Arrival estimation, paving the way for enabling LLMs to understand physical world.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI