日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画音声生成arXiv:2510.02110

SoundReactor: フレーム単位のオンライン動画音声生成

SoundReactor: Frame-level Online Video-to-Audio Generation

シェア:XThreadsFacebookLINEはてブBluesky

未来のフレームを見ずに動画からリアルタイムで音声を自己回帰生成するフレーム単位オンラインV2Aタスクを提案し、因果的Transformerと拡散・一貫性微調整で低遅延・高品質なステレオ音声を実現した。

詳しい要約

1. どんなもの?

- フレーム単位のオンライン Video-to-Audio (V2A) 生成という新タスクを提案する研究。 - 従来の V2A はオフライン前提で、動画全体やフレームチャンクを事前に必要とする。 - 本手法 SoundReactor は未来のフレームにアクセスせず、動画から音声を自己回帰的に生成する。 - 対象はインタラクティブ用途(ライブ制作や generative world models など)。

2. 先行研究と比べてどこがすごい?

- 既存の V2A モデルはオフラインで、未来フレームを見られる前提のため対話的応用に使えない。 - 著者らの知る限り、フレーム単位オンライン V2A に明示的に特化した最初のフレームワーク。 - end-to-end causality を強制し、フレームあたり低遅延と audio-visual synchronization を両立。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- backbone は連続 audio latents 上の decoder-only causal transformer。 - 視覚条件付けは DINOv2 vision encoder の最小版から抽出した grid (patch) features を使用。 - それらをフレームごとに単一 token へ集約し、end-to-end causality と効率を維持。 - 学習は diffusion pre-training の後に consistency fine-tuning を行い、diffusion head のデコードを高速化。

4. どうやって有効だと検証した?

- AAA タイトルの多様なゲームプレイ動画ベンチマークで評価。 - 意味的・時間的に整合した高品質な full-band stereo audio を生成できたと報告。 - 客観評価と人手評価の両方で検証。 - 30FPS, 480p 動画で単一 H100 上、per-frame waveform-level latency 26.3ms (head NFE=1)、31.5ms (NFE=4) を達成。

5. 議論はある?

- フレーム単位オンライン V2A の有効性をゲームプレイ動画で示す一方、他ドメインへの一般化は要旨からは不明。 - 低遅延化のため consistency fine-tuning を用いるが、品質と遅延のトレードオフの詳細は要旨からは不明。 - 未来フレーム非依存の因果設計が長期的な音声一貫性に与える影響は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として明示された研究は要旨からは不明。 - 関連手法として DINOv2、diffusion pre-training、consistency fine-tuning、decoder-only causal transformer が挙げられる。 - 同分野の定番として offline V2A 生成モデル全般を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Koichi Saito, Julian Tanke, Christian Simon, Masato Ishii, Kazuki Shimada, Zachary Novack, Zhi Zhong, Akio Hayakawa, Takashi Shibuya, Yuki Mitsufuji

分類: cs.SD, cs.LG, eess.AS

原文アブストラクト

Prevailing Video-to-Audio (V2A) generation models operate offline, assuming an entire video sequence or chunks of frames are available beforehand. This critically limits their use in interactive applications such as live content creation and emerging generative world models. To address this gap, we introduce the novel task of frame-level online V2A generation, where a model autoregressively generates audio from video without access to future video frames. Furthermore, we propose SoundReactor, which, to the best of our knowledge, is the first simple yet effective framework explicitly tailored for this task. Our design enforces end-to-end causality and targets low per-frame latency with audio-visual synchronization. Our model's backbone is a decoder-only causal transformer over continuous audio latents. For vision conditioning, it leverages grid (patch) features extracted from the smallest variant of the DINOv2 vision encoder, which are aggregated into a single token per frame to maintain end-to-end causality and efficiency. The model is trained through a diffusion pre-training followed by consistency fine-tuning to accelerate the diffusion head decoding. On a benchmark of diverse gameplay videos from AAA titles, our model successfully generates semantically and temporally aligned, high-quality full-band stereo audio, validated by both objective and human evaluations. Furthermore, our model achieves low per-frame waveform-level latency (26.3ms with the head NFE=1, 31.5ms with NFE=4) on 30FPS, 480p videos using a single H100. Demo samples are available at https://koichi-saito-sony.github.io/soundreactor/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI