EmbodiedHead: 会話エージェントのためのリアルタイム聴話アバター

LLMにリアルタイムの視覚アバターを付与するspeech-driven talking-headフレームワークEmbodiedHeadを提案。 - 実用的なembodied avatarには、リアルタイム生成、listening-speakingの統合挙動、高い描画品質の同時達成が必要。 - 本手法はRectified-Flow Diffusion Transformer (DiT)とdifferentiable rendererを結合。 - わずか4サンプリングステップで多様かつ高忠実な生成を可能にする。

従来のlistening-speaking手法はdual-stream audioに依存し、対話相手のlook-ahead依存が生じ、因果的なuser-LLMインタラクションと非互換だった。 - 本手法はsingle-stream interfaceと明示的なper-frame listening-speaking state conditioning、Streaming Audio Schedulerを採用。 - これによりlistening中の不要な口運動を抑制し、シームレスなturn-takingを実現。 - さらにmotion-level supervisionと描画品質のギャップを埋める二段階学習を導入。

技術の肝は以下の通り。 - 本タスク初のRectified-Flow Diffusion Transformer (DiT)とdifferentiable rendererの結合。 - single-stream interfaceとper-frame listening-speaking state conditioning。 - Streaming Audio Schedulerによるlistening中のspurious mouth motion抑制とturn-takingの実現。 - coefficient-space pretrainingとjoint image-domain refinementからなる二段階学習。

広範な実験により、speakingおよびlisteningシナリオの両方でstate-of-the-artの視覚品質とmotion fidelityを実証。 - 具体的なデータセット名や評価指標は要旨からは不明。

要旨からは不明。 - 想定される議論点としては、real-time性と高品質のトレードオフ、single-stream化による表現力の制限、二段階学習の汎化性などが考えられるが、要旨には明記されていない。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、speech-driven talking-head生成、Diffusion Transformer (DiT)、Rectified Flow、differentiable rendering、dual-stream audioに基づくlistening-speaking手法などが挙げられる。 - 同分野の定番として、audio-driven talking face generationやconversational avatarに関する研究を読むべき。